Graylog: Gestire la conservazione

Come configurare la conservazione dei log

👋 Benvenuti nella documentazione di Stackhero!

Stackhero offre una soluzione Graylog cloud pronta all'uso che fornisce numerosi vantaggi, tra cui:

Server email SMTP illimitato e dedicato incluso.

Aggiornamenti senza sforzo con un solo clic.

Nome di dominio personalizzabile sicuro con HTTPS (ad esempio, https://logs.tua-azienda.com).

Prestazioni ottimali e sicurezza robusta grazie a una VM privata e dedicata.

Risparmia tempo e semplifica la tua vita: bastano 5 minuti per provare la soluzione Graylog cloud hosting di Stackhero!

La conservazione definisce il numero di messaggi memorizzati nel database OpenSearch. È possibile configurare la conservazione in base al numero di messaggi, a un'età massima o a un limite di dimensione complessiva.

Ad esempio, si potrebbe scegliere di conservare i messaggi degli ultimi 365 giorni, mantenere fino a 200 milioni di messaggi o riservare un totale di 400 GB di spazio di archiviazione.

Comprendere gli indici

Prima di definire la tua politica di conservazione, è importante capire come funzionano gli indici utilizzati da Graylog e OpenSearch. Pensa agli indici come a contenitori fisici. Graylog "apre" un contenitore (un indice) e vi inserisce i messaggi in arrivo. Quando la quota assegnata a quel contenitore viene superata, il contenitore viene chiuso, memorizzato su uno scaffale e un nuovo contenitore viene avviato per i messaggi successivi.

Puoi impostare questa quota utilizzando diversi criteri:

Un numero di messaggi: "Conserva 20 milioni di messaggi per contenitore, poi inizia uno nuovo."
Una limitazione di tempo: "Usa un contenitore per 10 giorni, poi passa a uno nuovo."
Una limitazione di dimensione: "Memorizza 20 GB per contenitore, poi passa a uno nuovo."

È anche definito un numero massimo di contenitori che possono essere memorizzati sullo scaffale. Se il numero viene superato, i contenitori più vecchi vengono automaticamente eliminati. Ad esempio, se imposti un massimo di 20 contenitori e ne hai 22 sullo scaffale, i 2 contenitori più vecchi verranno rimossi.

In questa analogia, i contenitori rappresentano gli indici, lo scaffale è OpenSearch e il numero massimo rappresenta il numero consentito di indici.

Scegliere una strategia di rotazione

Graylog offre tre strategie di conservazione:

"Index time" definisce la durata massima per cui i messaggi sono conservati in ogni indice, ad esempio, 14 giorni per indice.
"Index message count" imposta il numero massimo di messaggi per indice, ad esempio, 20 milioni di messaggi per indice.
"Index size" limita la dimensione massima di un indice, ad esempio, 40 GB per indice.

Puoi selezionare una di queste strategie in base alle tue esigenze specifiche. Ad esempio, selezionare "Index time" aiuta a garantire che tu abbia sempre i log degli ultimi X giorni.

Assicurati di stimare accuratamente le tue esigenze di spazio su disco.

Ad esempio, se memorizzi 1 GB di log al giorno e decidi di conservare i log degli ultimi 365 giorni, avrai bisogno di 365 GB di spazio su disco. Ricorda che deve essere riservato anche spazio operativo aggiuntivo (vedi sotto).

Definire i parametri di conservazione

Per impostazione predefinita, Graylog limita il numero di indici a 20. Puoi regolare questo valore in base alle tue esigenze. Ad esempio, se desideri memorizzare i log degli ultimi 365 giorni, potresti distribuire la conservazione sugli indici dividendo 365 giorni per 20 indici, il che risulta in circa 19 giorni per indice.

Puoi eseguire calcoli simili per le altre strategie:

Per la strategia "Index message count": se desideri mantenere 200 milioni di messaggi con un massimo di 20 indici, allora 200 milioni di messaggi divisi per 20 indici danno 10 milioni di messaggi per indice.
Per la strategia "Index size": se desideri mantenere 400 GB di log con un massimo di 10 indici, allora 400 GB divisi per 10 indici danno 40 GB per indice.

Raccomandiamo di mantenere sempre almeno 15 GB di spazio su disco libero per i log, il journal di Graylog e i dati di MongoDB.

Se lo spazio su disco libero si esaurisce, OpenSearch bloccherà le sue operazioni e potresti dover aggiornare a un'istanza più grande.

Configurare la politica di conservazione

Per configurare la politica di conservazione, accedi all'interfaccia di Graylog. Sotto "System" seleziona "Indices" e fai clic sul pulsante "Edit" nel "Default index set".

Nell'esempio seguente, la configurazione imposta un massimo di 27 indici, con ciascun indice che conserva 14 giorni di log. Questa configurazione conserva i log per circa un anno (378 giorni).

Non raccomandiamo di conservare più di 14 giorni di messaggi per indice.

Configurazione della conservazione per mantenere i log per un anno

Quando scegli "Index time" come politica di rotazione, devi definire la durata utilizzando lo standard ISO8601 Duration.

Ad esempio, "P7D" significa 7 giorni, "P14D" significa 14 giorni e così via.

Approfondire

Se desideri saperne di più sugli indici, ti incoraggiamo vivamente a leggere la documentazione ufficiale.

Gestire gli errori sugli indici di sola lettura di OpenSearch

Occasionalmente, OpenSearch può passare alla modalità di sola lettura e potresti incontrare errori come:

"Flood stage disk watermark exceeded, all indices on this node will be marked read-only"
"FORBIDDEN/12/index read-only / allow delete (api)"

Questi errori si verificano come parte del meccanismo di protezione di OpenSearch quando lo spazio su disco è criticamente basso. Quando lo spazio su disco disponibile scende sotto i 7 GB, OpenSearch imposta gli indici su sola lettura come misura precauzionale per prevenire la corruzione dei dati.

Se incontri questi errori, hai due opzioni:

Riconfigura la tua politica di conservazione per mantenere meno log. Dopo aver regolato la politica, elimina l'indice più vecchio per liberare spazio su disco e consentire a OpenSearch di tornare alla modalità di lettura-scrittura. Si prega di notare che eliminare un indice significa che tutti i dati in quell'indice saranno persi.
Aggiorna la tua istanza a una con un disco più grande. Con un semplice clic nel tuo dashboard Stackhero, l'istanza verrà riavviata con spazio su disco aggiuntivo e OpenSearch tornerà automaticamente alla modalità di lettura-scrittura.