Graylog: Tvarkyti saugojimą

Kaip konfigūruoti žurnalų saugojimą

👋 Sveiki atvykę į Stackhero dokumentaciją!

Stackhero siūlo paruoštą naudoti Graylog cloud sprendimą, kuris suteikia daugybę privalumų, įskaitant:

• Įtrauktas neribotas ir dedikuotas SMTP el. pašto serveris.
• Lengvi atnaujinimai vienu paspaudimu.
• Pritaikomas domeno vardas, apsaugotas HTTPS (pavyzdžiui, https://logs.jusu-imone.com).
• Optimali veikla ir tvirta sauga, užtikrinta privačia ir dedikuota VM.

Taupykite laiką ir supaprastinkite savo gyvenimą: tereikia 5 minučių, kad išbandytumėte Stackhero Graylog cloud hosting sprendimą!

Saugojimas apibrėžia pranešimų skaičių, saugomą OpenSearch duomenų bazėje. Galite konfigūruoti saugojimą pagal pranešimų skaičių, maksimalų amžių arba bendrą dydžio limitą.

Pavyzdžiui, galite pasirinkti saugoti pranešimus iš pastarųjų 365 dienų, išlaikyti iki 200 milijonų pranešimų arba rezervuoti 400 GB saugojimo vietos.

Suprasti indeksus

Prieš nustatant saugojimo politiką, svarbu suprasti, kaip veikia Graylog ir OpenSearch naudojami indeksai. Galvokite apie indeksus kaip apie fizinius konteinerius. Graylog „atidaro“ konteinerį (indeksą) ir į jį deda gaunamus pranešimus. Kai šiam konteineriui priskirta kvota viršijama, konteineris uždaromas, saugomas lentynoje, ir naujas konteineris pradedamas naudoti vėlesniems pranešimams.

Šią kvotą galite nustatyti pagal skirtingus kriterijus:

1. Pranešimų skaičius: „Laikykite 20 milijonų pranešimų viename konteineryje, tada pradėkite naują.“
2. Laiko apribojimas: „Naudokite konteinerį 10 dienų, tada pereikite prie naujo.“
3. Dydžio apribojimas: „Laikykite 20 GB viename konteineryje, tada pereikite prie naujo.“

Taip pat nustatomas maksimalus konteinerių, kuriuos galima laikyti lentynoje, skaičius. Jei šis skaičius viršijamas, seniausi konteineriai automatiškai ištrinami. Pavyzdžiui, jei nustatote maksimalų 20 konteinerių skaičių ir turite 22 lentynoje, 2 seniausi konteineriai bus pašalinti.

Šioje analogijoje konteineriai atitinka indeksus, lentyna yra OpenSearch, o maksimalus skaičius atitinka leistiną indeksų skaičių.

Pasirinkti rotacijos strategiją

Graylog siūlo tris saugojimo strategijas:

1. „Index time“ apibrėžia maksimalų laiką, per kurį pranešimai laikomi kiekviename indekse, pavyzdžiui, 14 dienų per indeksą.
2. „Index message count“ nustato maksimalų pranešimų skaičių per indeksą, pavyzdžiui, 20 milijonų pranešimų per indeksą.
3. „Index size“ riboja maksimalų indekso dydį, pavyzdžiui, 40 GB per indeksą.

Galite pasirinkti vieną iš šių strategijų pagal savo specifinius poreikius. Pavyzdžiui, pasirinkus „Index time“ užtikrinama, kad visada turėsite žurnalus iš pastarųjų X dienų.

Būkite atsargūs tiksliai įvertindami savo disko saugojimo poreikius.

Pavyzdžiui, jei saugote 1 GB žurnalų per dieną ir nusprendžiate laikyti žurnalus iš pastarųjų 365 dienų, jums reikės 365 GB disko vietos. Nepamirškite, kad taip pat turi būti rezervuota papildoma veikimo vieta (žr. žemiau).

Nustatyti saugojimo parametrus

Pagal numatytuosius nustatymus Graylog riboja indeksų skaičių iki 20. Galite koreguoti šią vertę pagal savo poreikius. Pavyzdžiui, jei norite saugoti žurnalus iš pastarųjų 365 dienų, galite paskirstyti saugojimą per indeksus, padalindami 365 dienas iš 20 indeksų, kas sudaro maždaug 19 dienų per indeksą.

Galite atlikti panašius skaičiavimus kitoms strategijoms:

1. „Index message count“ strategijai: jei norite laikyti 200 milijonų pranešimų su maksimaliu 20 indeksų skaičiumi, tada 200 milijonų pranešimų padalijus iš 20 indeksų gaunama 10 milijonų pranešimų per indeksą.
2. „Index size“ strategijai: jei norite išlaikyti 400 GB žurnalų su maksimaliu 10 indeksų skaičiumi, tada 400 GB padalijus iš 10 indeksų gaunama 40 GB per indeksą.

Rekomenduojame visada laikyti bent 15 GB laisvos disko vietos žurnalams, Graylog žurnalui ir MongoDB duomenims.

Jei laisva disko vieta baigiasi, OpenSearch blokuos savo operacijas ir gali tekti atnaujinti į didesnę instanciją.

Konfigūruoti saugojimo politiką

Norėdami konfigūruoti saugojimo politiką, eikite į Graylog sąsają. Skiltyje „System“ pasirinkite „Indices“ ir spustelėkite mygtuką „Edit“ „Default index set“.

Žemiau pateiktame pavyzdyje konfigūracija nustato maksimalų 27 indeksų skaičių, kiekvienas indeksas saugo 14 dienų žurnalus. Ši konfigūracija saugo žurnalus maždaug metus (378 dienas).

Nerekomenduojame laikyti daugiau nei 14 dienų pranešimų per indeksą.

Konfigūracija saugoti žurnalus metus

Pasirinkus „Index time“ kaip rotacijos politiką, turite nustatyti trukmę naudodami ISO8601 trukmės standartą.

Pavyzdžiui, „P7D“ reiškia 7 dienas, „P14D“ reiškia 14 dienų ir t.t.

Eiti toliau

Jei norite sužinoti daugiau apie indeksus, primygtinai rekomenduojame perskaityti oficialią dokumentaciją.

Tvarkyti klaidas dėl OpenSearch tik skaitymo indeksų

Kartais OpenSearch gali pereiti į tik skaitymo režimą ir galite susidurti su tokiomis klaidomis kaip:

1. „Flood stage disk watermark exceeded, all indices on this node will be marked read-only“
2. „FORBIDDEN/12/index read-only / allow delete (api)“

Šios klaidos atsiranda kaip OpenSearch apsaugos mechanizmo dalis, kai disko vieta yra kritiškai maža. Kai laisva disko vieta sumažėja žemiau 7 GB, OpenSearch nustato indeksus į tik skaitymo režimą kaip atsargumo priemonę, kad būtų išvengta duomenų sugadinimo.

Jei susiduriate su šiomis klaidomis, turite dvi galimybes:

1. Perkonfigūruokite savo saugojimo politiką, kad laikytumėte mažiau žurnalų. Po politikos koregavimo ištrinkite seniausią indeksą, kad atlaisvintumėte disko vietą ir leistumėte OpenSearch grįžti į skaitymo-rašymo režimą. Atkreipkite dėmesį, kad ištrynus indeksą, visi duomenys tame indekse bus prarasti.
2. Atnaujinkite savo instanciją į didesnę diską turinčią. Vienu paspaudimu jūsų Stackhero prietaisų skydelyje, instancija bus paleista iš naujo su papildoma disko vieta ir OpenSearch automatiškai grįš į skaitymo-rašymo režimą.