2014-09-09 - Frokostseminar Redpill Linpro - Støtteverktøy for agil drift

Støtteverktøy for agil drift
Frokostseminar Redpill Linpro
Håkon Drange - 2014-09-09

Introduksjon
● Håkon Drange

Introduksjon
● Haugesundar
http://www.visitnorway.com/no/reisemal/vestlandet/haugesund-og-haugalandet/

Litt om Aptoma
Visjon:
Å hjelpe og forbedre mediabransjen med moderne
teknologi.

Litt om Aptoma
● Utvikler og drifter løsninger for mediehus.
● 16 ansatte, hvorav 12 er teknikere.

Litt om Aptoma
● Tjenester leveres som SaaS.
● Kunden bygger sin forretningslogikk på toppen.

Litt om Aptoma
● For tiden 101 servere på 6 ulike lokasjoner.
● Virtuelle
● Fysiske
● Egen hardware
● I clouden

Verktøy i vår kasse
1. HipChat
1

1. HipChat
2. Munin
3. Nagios
1

1. HipChat
2. Munin
3. Nagios
4. PagerDuty

1. HipChat
2. Munin
3. Nagios
4. PagerDuty
5. Papertrail

1. HipChat
2. Munin
3. Nagios
4. PagerDuty
5. Papertrail
6. Geckoboard

Verktøy #1 - HipChat
Formål:
● Få innsikt i hva som skjer uten å måtte gå rundt og spørre folk.

Formål:
● Få innsikt i hva som skjer uten å måtte gå rundt og spørre folk.
● Lavterskeltilbud for å spørre om hjelp.

● Viktig verktøy som samler informasjon fra andre systemer og presenterer
det på et sentralisert sted.

● Viktig verktøy som samler informasjon fra andre systemer og presenterer
det på et sentralisert sted.
● HipChat er stedet hvor utviklerne er.

Verktøy #2 - Munin
Formål:
● Historisk innsikt i systemers oppførsel og
karakteristikker.

Verktøy #2 - Munin
Utviklet av nordmenn som:
● Audun Ytterdal
● Stig Sandbeck Mathisen
● Kjell-Magne Øierud
● og flere andre flinke (Redpill Linpro) folk.
Ref: http://munin-monitoring.org/browser/munin/authors

Verktøy #2 - Munin
● Innsikt i systemers karakteristikker.
○ Når ting går som normalt.

Verktøy #2 - Munin
○ Når ting ikke går som normalt.

Verktøy #2 - Munin
● Spå fremtiden.
● Forutse trender på vei til en unormal/uønsket tilstand.

Verktøy #2 - Munin
● Innsikt i systemers normale karakteristikker.
● Spå fremtiden.
● Forutse trender på vei til en unormal/uønsket tilstand.
● Komplekse systemer krever mer innsikt.

Verktøy #2 - Munin
Mer info om Munin og hvordan lage plugins på http://munin-monitoring.
org/.

Verktøy #3 - Nagios
Formål: Bli varslet om avvik som skjer akkurat nå.

Parametre som overvåkes:
● Ledig minne.
● Ledig diskplass.
● Load Average.
● Prosesser.
● SSH.
● ping.
● Gjenstående gyldighetstid på SSL-sertifikater
● HTTP-sjekker mot API-er og andre tjenester.
● ZFS pool status.

● Varslinger sendes til epost og et eget rom på HipChat.

Se mer på http://www.nagios.org/.

Verktøy #4 - PagerDuty
Formål:
● Sentralisert mottakspunkt for varslinger fra ulike monitoreringssystemer.

Formål:
● Sentralisert mottakspunkt for varslinger fra flere overvåkningssystemer.
● Aggregere flere innkommende varslinger.

Formål:
● Sentralisert mottakspunkt for varslinger fra flere overvåkningssystemer.
● Aggregere flere innkommende varslinger.
● Varsler rett mann på vakt.

● Fleksibelt
○ Kan integreres med det meste.
○ Individuelle turnuser, tjenester og eskaleringsrutiner.

● Vi har integrert med:
○ Pingdom.
○ Nagios.
○ DNSMadeEasy.
○ New Relic.
○ Papertrail.
○ Generisk epost.

Se mer på http://pagerduty.com/.

Verktøy #5 - Papertrail
Formål:
● Erstatte “SSH + tail -f” på 1+ servere med noe bedre.

Formål:
● Fjerne behovet for “SSH + tail -f på 1+ servere.
● Bli varslet om hendelser i logger.

● Sentralisert mottakssystem.

● Sentralisert mottakssystem.
● Vi valgte å bruke logshippingsagenten nxlog.

Eksempler på monitorerte systemlogger på Ubuntu:
● /var/log/syslog
● /var/log/nxlog/nxlog.log
● /var/log/dmesg
● /var/log/unattended-upgrades/unattended-upgrades.log
● /var/log/apt/history.log
● /var/log/fsck/checkfs
● /var/log/fsck/checkroot
● /var/log/auth.log

Eksempler på applikasjonsspesifikke monitorerte logger:
● /var/log/chef/*.log
● /var/log/aptoma/*.log (for Aptoma-spesifikke loggdata)
● /var/log/apache2/*.log (if role == apache-server)
● /var/log/varnish/*.log (if role == varnish-server)
● /var/log/node/*.log (if role == nodejs-server)

● Aggreger en strøm av ønskede data og følg med i “real time”

● Lagre søk

● Lagre søk
● Ager på innhold i loggstrømmen.

● Lagre søk
○ Query: (deprecated OR E_DEPRECATED) error.log

● Lagre søk
○ Query: error.log MaxClients

● Lagre søk
○ Query: program:node-smooth-storage.log GET /users/ images/

● Lagre søk
○ Query: app.log msExec WARNING

Integrert med:
● PagerDuty
● HipChat
● Geckoboard
● Librato
● Webhooks
● .. og varsling på epost.

Se mer på http://papertrailapp.com/.

Verktøy #6 - Geckoboard
Formål:
● Å dele status om våre tjenester akkurat nå med alle på kontoret.

Formål:
● Skape felles innsikt, interesse og motivasjon.

Formål:
● Skape felles innsikt, interesse og motivasjon.
● Verktøy for førstelinjesupport

Kan integreres med det meste.

Se mer på https://www.geckoboard.com/.

Oppsummering
DevOps filosofi (CAMS)
● Culture
● Automation
● Measurement
● Sharing

Oppsummering
Er flaskehalsen prosess eller teknisk?

Oppsummering
Teknologi, verktøy og kultur henger sammen.

Takk for meg
Epost: haakon@aptoma.com
Twitter: @haakond
Slides: http://apto.ma/slides20140909hd
WWW: http://aptoma.com/

Referanser
● http://www.hipchat.com/
● http://munin-monitoring.org/
● http://www.nagios.org/
● http://pagerduty.com/
● http://papertrailapp.com/
● http://geckoboard.com/
● http://www.montezumamfg.com/uploaded_files/images/products/l_72df3edcdcf6bdb4d79beade531dcf64ME300ALR-(tray-open).
jpg

2014-09-09 - Frokostseminar Redpill Linpro - Støtteverktøy for agil drift

Recommended

Recommended

More Related Content

Similar to 2014-09-09 - Frokostseminar Redpill Linpro - Støtteverktøy for agil drift

Similar to 2014-09-09 - Frokostseminar Redpill Linpro - Støtteverktøy for agil drift (11)

2014-09-09 - Frokostseminar Redpill Linpro - Støtteverktøy for agil drift