Graylog: Gestionar la retención

Cómo configurar la retención de registros

👋 ¡Bienvenido a la documentación de Stackhero!

Stackhero ofrece una solución Graylog cloud lista para usar que proporciona una serie de beneficios, incluyendo:

• Servidor de correo electrónico SMTP ilimitado y dedicado incluido.
• Actualizaciones sin esfuerzo con solo un clic.
• Nombre de dominio personalizable asegurado con HTTPS (por ejemplo, https://logs.tu-empresa.com).
• Rendimiento óptimo y seguridad robusta gracias a una VM privada y dedicada.

Ahorra tiempo y simplifica tu vida: ¡solo toma 5 minutos probar la solución de Graylog cloud hosting de Stackhero!

La retención define el número de mensajes almacenados en la base de datos de OpenSearch. Puede configurar la retención en función de un conteo de mensajes, una antigüedad máxima o un límite de tamaño total.

Por ejemplo, puede optar por conservar los mensajes de los últimos 365 días, retener hasta 200 millones de mensajes o reservar un total de 400 GB de espacio de almacenamiento.

Comprender los índices

Antes de definir su política de retención, es importante entender cómo funcionan los índices utilizados por Graylog y OpenSearch. Piense en los índices como contenedores físicos. Graylog "abre" un contenedor (un índice) y coloca los mensajes entrantes dentro de él. Cuando se supera la cuota asignada a ese contenedor, el contenedor se cierra, se almacena en una estantería y se inicia un nuevo contenedor para los mensajes siguientes.

Puede establecer esta cuota utilizando diferentes criterios:

1. Un número de mensajes: "Mantener 20 millones de mensajes por contenedor, luego comenzar uno nuevo."
2. Una limitación de tiempo: "Usar un contenedor durante 10 días, luego cambiar a uno nuevo."
3. Una limitación de tamaño: "Almacenar 20 GB por contenedor, luego pasar a uno nuevo."

También se define un número máximo de contenedores que se pueden almacenar en la estantería. Si se supera este número, los contenedores más antiguos se eliminan automáticamente. Por ejemplo, si establece un máximo de 20 contenedores y tiene 22 en la estantería, se eliminarán los 2 contenedores más antiguos.

En esta analogía, los contenedores representan los índices, la estantería es OpenSearch y el número máximo representa el número permitido de índices.

Elegir una estrategia de rotación

Graylog ofrece tres estrategias de retención:

1. "Index time" define la duración máxima durante la cual se mantienen los mensajes en cada índice, por ejemplo, 14 días por índice.
2. "Index message count" establece el número máximo de mensajes por índice, por ejemplo, 20 millones de mensajes por índice.
3. "Index size" limita el tamaño máximo de un índice, por ejemplo, 40 GB por índice.

Puede seleccionar una de estas estrategias según sus requisitos específicos. Por ejemplo, seleccionar "Index time" ayuda a asegurar que siempre tenga registros de los últimos X días.

Tenga cuidado de estimar con precisión sus necesidades de almacenamiento en disco.

Por ejemplo, si almacena 1 GB de registros por día y decide mantener los registros de los últimos 365 días, necesitará 365 GB de espacio en disco. Recuerde que también debe reservar espacio operativo adicional (ver más abajo).

Definir los parámetros de retención

Por defecto, Graylog limita el número de índices a 20. Puede ajustar este valor según sus necesidades. Por ejemplo, si desea almacenar registros de los últimos 365 días, podría distribuir la retención entre los índices dividiendo 365 días por 20 índices, lo que resulta en aproximadamente 19 días por índice.

Puede realizar cálculos similares para las otras estrategias:

1. Para la estrategia "Index message count": si desea mantener 200 millones de mensajes con un máximo de 20 índices, entonces 200 millones de mensajes divididos por 20 índices dan 10 millones de mensajes por índice.
2. Para la estrategia "Index size": si desea mantener 400 GB de registros con un máximo de 10 índices, entonces 400 GB divididos por 10 índices dan 40 GB por índice.

Recomendamos mantener siempre al menos 15 GB de espacio libre en disco para los registros, el diario de Graylog y los datos de MongoDB.

Si se agota el espacio libre en disco, OpenSearch bloqueará sus operaciones y podría necesitar actualizar a una instancia más grande.

Configurar la política de retención

Para configurar la política de retención, navegue a la interfaz de Graylog. En "System" seleccione "Indices" y haga clic en el botón "Edit" en el "Default index set".

En el ejemplo a continuación, la configuración establece un máximo de 27 índices, con cada índice reteniendo 14 días de registros. Esta configuración retiene registros durante aproximadamente un año (378 días).

No recomendamos mantener más de 14 días de mensajes por índice.

Configuración de retención para mantener registros durante un año

Al elegir "Index time" como política de rotación, debe definir la duración utilizando el estándar ISO8601 Duration.

Por ejemplo, "P7D" significa 7 días, "P14D" significa 14 días, y así sucesivamente.

Ir más allá

Si desea aprender más sobre los índices, le recomendamos encarecidamente que lea la documentación oficial.

Manejar errores sobre los índices de solo lectura de OpenSearch

Ocasionalmente, OpenSearch puede cambiar a modo de solo lectura y puede encontrar errores como:

1. "Flood stage disk watermark exceeded, all indices on this node will be marked read-only"
2. "FORBIDDEN/12/index read-only / allow delete (api)"

Estos errores ocurren como parte del mecanismo de protección de OpenSearch cuando el espacio en disco es críticamente bajo. Cuando el espacio disponible en disco cae por debajo de 7 GB, OpenSearch establece los índices en solo lectura como medida de precaución para evitar la corrupción de datos.

Si encuentra estos errores, tiene dos opciones:

1. Reconfigure su política de retención para mantener menos registros. Después de ajustar la política, elimine el índice más antiguo para liberar espacio en disco y permitir que OpenSearch vuelva al modo de lectura-escritura. Tenga en cuenta que eliminar un índice significa que todos los datos en ese índice se perderán.
2. Actualice su instancia a una con un disco más grande. Con un solo clic en su panel de control de Stackhero, la instancia se reiniciará con espacio en disco adicional y OpenSearch volverá automáticamente al modo de lectura-escritura.