Clientlardan log toplama.

Graylog log toplama mantığı aşağıda ki gibidir basitçe.

Her sistemde bir graylog sidecar ve onun yönettiği nxlog veya başka bir log harvester vardır. Bu harvesterlar istediğimiz logları toplayıp istenilen IP ve port üzerinden “Graylog inputs” a logları gönderirler.

Ben nxlog u kullandım hem opensource ve ücretsiz hemde hem windows hemde linux hostlarımda kullanacağım için standart tek bir uygulama olması karmaşıklığı azalltığı için.

Test amaçlı olarak bir linux host üzerinde bir pyhton scripti olan “Fake-http-Loggenerator” kullandım. bu script sayesinde fake loglar oluşturup istediğim kadar ve istediğim yoğunlukta oluşturebliyordum.

Linux nxlog-sidecar kurulumu

# nano sidecar.yml
server_url: "http://<Public_IP>.10/api/"
server_api_token: "tyreffhro751vppfm96ohu8mv5l06e010lgfa3vf50a7pgj3c4bgty"
tls_skip_verify: true
collector_binaries_whitelist: "/usr/bin/nxlog"

API token ı graylog web arayüzünden alıyoruz

nxlog u da yum install vasıtası ile kurup bu config ile sidecari ayarlayıp sidecar ı çalıştırınca graylog ta görülüyor.

Windows nxlog-sidecar kurulumu

sidecar ve nxlog u windows a normal birşekilde kuruyoruz.

takiben sidecar ın bir servis olarak windowsa eklenmesi gerekiyor.

sc.exe create "Graylog_sidecar" binPath= "C:\Program Files\Graylog\sidecar\graylog-
sidecar.exe"
set-service "Graylog_sidecar" -StartupType Automatic
start-service "Graylog_sidecar"

Windows ortamında hem wimndows log yapısı ve hemde normal text olarak log olması muhtemeldir. Bunları powershell ile veya başka usuller ile de test amaçlı oluşturabiliriz.

log gönderme işlemi başladıktan sonra küçük çaplı bir yük testi yaptığımızda saniyede 1500 den fazla log önderdiğimiz anda bile graylog nodelarında yük fazla olmamıştır.

Böylece client side da da kurulum tamamlanmıştır artık kullanıma basitçe giriş yapabiliriz.