Configuration Management Systems - Palvelinten Hallinta - Autumn 2020

Tux the Linux penguin

Just write what you want (idempotency). Control almost everything with one system (single source of truth). In plain text (infrastructure as code, versionable).

Control 10 computers. Or 100. Or 1000. Or control 2071 computers, like Jussi did on a previous course. Or handle 7 different operating systems and OS versions with a single master, like Matias. Course is in Finnish.

My current research area is configuration management systems: I gave an invited speech in IEEE ICIM Chengdu and a plenary speech in IEEE ICIM Oxford; I’ve also been teaching these modern methods to companies. Previous feedback for this course has been from very good 4.3 to excellent 4.9 out of 5.

As the course is in Finnish, the rest of this page will be in Finnish. Homework links are returned to Moodle: Moodle 3012 Wednesday Moodle 3010 Thursday (Haaga-Helia account required).

Opintojakson suoritettuaan opiskelija

  • Osaa hallita palvelimia kuvailemalla tavoitetilan (idempotenssi)
  • Osaa tehdä asetukset pelkkänä tekstinä ja versioitavasti (infrastruktuuri koodina)
  • Pystyy tekemään tavalliset ylläpitotoimet valitulla työkalulla Saltilla (yksi totuus)

Esitiedot

Esitiedot, kertaa nämä. Kysely toisella opetuskerralla.

Opettele komennot ja hakemistot ulkoa. Harjoittele niitä kokeilemalla moneen kertaan Linuxissa.

Alustava aikataulu

Pidän kaikki kurssini kokonaan etäopetuksena syksyllä 2020. Kurssi kestää 8 viikkoa, 2020 loppusyksyn.

Läksyt 24 h ennen seuraavan lähiopetuskerran alkua linkkinä Moodleen (vaatii Haaga-Helian tunnukset).

Tämä alustava aikataulu elää kurssin aikana.

  1. Hello Salt! Master-slave, pull -arkkitehtuuri. Komentojen etäsuoritus (cmd.run, pkg.install). Tietojen kerääminen orjista (grains.items). Idempotentti konfiguraatio (foo.sls, top.sls). Esimerkkejä tiloista (file.managed, pkg.installed). Miten tavoittaa orja muuttuvasta, tuntemattomasta osoitteesta, NAT:n ja tulimuurin takaa? Luettavaa: Karvinen 2018: Salt Quickstart – Salt Stack Master and Slave on Ubuntu Linux, Salt States – I Want My Computers Like This, Run Salt SLS File Locally, Quick Fix for Useless Salt Warning. Salt official documentation: Salt Getting Started Guide-kirjasta luvut Understanding SaltStack ja SaltStack Fundamentals ja SaltStack Configuration Management: Functions.
  2. Package-file-service. How to install and configure daemons, such as Apache web server or MySQL database management system. pkg.installed, file.managed, service.running, watch. ‘find /etc/ -printf ‘%T+ %p\n’|sort’ Luettavaa: Karvinen 2018: Pkg-File-Service – Control Daemons with Salt – Change SSH Server Port, Apache User Homepages Automatically – Salt Package-File-Service Example. [Official] Salt Tutorials: How Do I Use Salt States?, States tutorial, part 1 – Basic Usage, Salt Best Practices.
  3. Versionhallinta. (+ torstaina Package-File-Service). Git. git init hellotero; git clone; git add .; git commit; git pull; git push; git log. GitHub. github.com/terokarvinen/sirotin. Publish Your Project with GitHub
  4. Omat komennot
  5. Omien modulien aloitus. Joko muotit tai pilarit. Muotit: Tiedoston tekeminen orjalle muotista. SLS-tilan tekeminen muotista. Jinja. for-in-endfor. {% for terosVariable in [‘foo’, ‘bar’] %}. {{ terosVariable }}. Apache Name Based Virtual Hosting. Pilarit: Salaisuudet /srv/pillar/. Kaikki orjat näkevät /srv/salt/. SLS-tilan generointi jinjalla vs orjan tiedoston tekeminen muotista. ‘sudo salt-call –local sys.state_doc’ ‘sudo salt state.show_sls hellotero –out yaml’. ‘sudo salt ‘*’ pillar.items’. {{ pillar.get(‘port’, 22) }}. Karvinen 2018: Secrets in Salt Pillars. Official Salt Get Started: SaltStack Configuration Management: Pillar. Official Salt Documentation: Pillar Walkthrough
  6. *Muut keskitetyt hallintajärjestelmät
  7. Omien modulien työstämistä
  8. Omien modulien esittely

Arviointi

Osien ohjeelliset painoarvot ovat

  • Kotitehtävät 50%
  • Oma moduli 50%

Arvosana perustuu kokonaisarvioon suorituksista. Kaikki kotitehtävät pitää tehdä. Etäopetukseen pitää osallistua aktiivisesti.

Työkaluja kurssille

Remote Learning Tools for Tero's Courses

Läksyt

Palautus 24 h ennen seuraavaa lukujärjestykseen merkittyä aikaa (riippumatta siitä, onko silloin videotapaamista). Weppisivulle (HTML), ja Moodleen pelkkä linkki. Halutessasi voit laittaa linkin myös kommentiksi tämän sivun perään, niin sivusi saa lisää kävijöitä ja nousee PageRankissa.

Nämä läksyt ovat alustavia. Läksyt ovat virallisia vasta, kun ne on annettu tunnilla. Tämä on edistynyt kurssi, joten pystymme tekemään muutoksia kurssin kuluessa ja sovittamaan läksyt aiheen mukaan.

h1 Hei maailma, verkon yli ja idempotenssi.

Lue aikataulussa mainitut artikkelit. Joko linkistä tai googlettamalla/duckittamalla artikkelin nimeä.

x) Kertaa esitiedot Esitiedot (vain luku, tätä x-alakohtaa ei tarvitse raportoida, kysellään oppitunnilla, suoritettava hyväksytysti)

y) Lue aikataulussa mainitut artikkelit (vain luku, tätä y-alakohtaa ei tarvitse raportoida. Aikataulussa mainitut artikkelit tulee opiskella tietysti joka viikko, mutta päivitin tähän nyt vielä tämän y-kohdan muistutukseksi. )

a) Asenna Salt ja siihen uusi orja. Voit tehdä ne esimerkiksi uudelle virtuaalikoneelle, niin pääset kokeilemaan puhtaalta pöydältä.

b) Tee saltille idempotentti hei maailma (siis tiedostosta, foo.sls)

d) Kerää tietoa koneesta saltin avulla (grains.items)

e) Kokeile jotain toista tilaa kuin file.managed. Tärkeitä ovat pkg.installed, file.managed, service.running, file.symlink, user.present, group.present. Ohjeita saa esim "sudo salt '*' sys.state_doc pkg.installed|less"

f) Vapaaehtoinen: Laita Salt Master palvelimelle, joka näkyy Internetiin. Silloin orjat saavat siihen yhteyden tulimuurin läpi, ei-julkisista (NAT) osoitteista ja vaikkapa virtuaalikoneista.

h2 Package-File-Service

a) Demonin asetukset. Säädä jokin demoni (asenna+tee asetukset+testaa) package-file-service -rakenteella. Tunnilla asennettiin Apache vaihdetulla oletussivulla, joten tee jotain muuta). Voit esimerkiksi asentaa SSH-palvelimen tai tehdä jotain muuta Apachella. Ensin käsin: muista tehdä ja raportoida asennus ensin käsin, vasta sitten automatisoiden.

b) Uusi ohjelma. Asenna + tee asetukset + testaa jokin sovellus, jota ei ole käsitelty tunnilla. Asenna ensin käsin, ja käytä sen jälkeen find-komentoa etsiäksesi muuttuneet tiedostot.

c) Aja jokin tila paikallisesti ilman master-slave arkkitehtuuria. Tutki debug-tulostetta. 'sudo salt-call --local state.apply hellotero -l debug'

d) Vapaaehtoinen: Omaa koiranruokaa. Asenna ja säädä salt:lla jokin ohjelma, jota oikeasti käytät. Esimerkiksi omalla läppärillä tai omalla Linoden/DigitalOceanin/OVH:n tms palvelimella.

e) Vapaaehtoinen: Suolaa, suolaa, ennemmän suolaa. Säädä useita käytössäsi olevia ohjelmia salt:lla. Tällainen käyttö antaa kokemusta ja itsevarmuutta keskitettyyn hallintaan. Ja tekee helpoksi ottaa uusia koneita omaan käyttöön.

h3 Versionhallinta

z) Opiskele yllä aikataulussa olevat artikkelit. Noissa artikkeleissa opetetaan ne asiat, joilla läksyt saa tehtyä. Tätä z-kohdan lukutehtävää ei tarvitse raportoida. Luettava materiaali on kunkin tapaamiskerran kohdalla.

a) MarkDown. Tee tämän tehtävän raportti MarkDownina. Helpointa on tehdä raportti GitHub-varastoon, jolloin md-päätteiset tiedostot muotoillaan automaattisesti. Tyhjä rivi tekee kappalejaon, risuaita ‘#’ tekee otsikon, sisennys merkitsee koodinpätkän. Vinkkinä artikkelini Publish Your Project with GitHub.

d) Näytä omalla git-varastollasi esimerkit komennoista ‘git log’, ‘git diff’ ja ‘git blame’. Selitä tulokset.

e) Tee tyhmä muutos gittiin, älä tee commit:tia. Tuhoa huonot muutokset ‘git reset –hard’. Huomaa, että tässä toiminnossa ei ole peruutusnappia.

f) Tee uusi salt-moduli. Voit asentaa ja konfiguroida minkä vain uuden ohjelman: demonin, työpöytäohjelman tai komentokehotteesta toimivan ohjelman. Käytä tarvittaessa ‘find -printf “%T+ %p\n”|sort’ löytääksesi uudet asetustiedostot. (Tietysti eri ohjelma kuin aiemmissa tehtävissä, tarkoitushan on harjoitella Salttia)

d) Vapaaehtoinen: Laita srv/salt/ gittiin. Tee uusi moduli. Kloonaa varastosi toiselle koneelle (tai poista srv/salt ja palauta se kloonaamalla) ja jatka sillä.

h4 Aikajana

Vinkkejä:

  • Lähes kaiken voi konfiguroida viidellä funktiolla: pkg-file-service (watch), user, exec.
  • Asenna aina ensin käsin
  • Ohjelmat tallentavat asetukset tiedostoihin. Joten aikajana tiedostoista näyttää, mitkä tiedostot pitää tehdä.
  • Saltilla asennetaan ohjelma (pkg), laitetaan asetustiedostot paikalleen (file) ja lopuksi jokin ohjelma lukee tiedot (service-watch; työpöytäohjelma kun se avataan; pakettilista sudo apt-get update tai pkg-refresh).
  • Testaa. Tee pienin testattava kokonaisuus kerralla.

a) Captain obvious. Linuxissa on paketinhallinta, joten ohjelmien asentaminen on yksinkertaista. Tee tila, joka asentaa 10 suosikkiohjelmaasi paketinhallinnasta. Tässä a-kohdassa voit jättää ohjelmat oletusasetuksille.

Vinkkejä: Asenna tässä a-kohdassa valmiiksi luotetuista pakettivarastoista, niin ei tarvitse asentaa uusia varastoja, ja tiedät saavasi vapaita ohjelmia. Ohjelmien asennus voi viedä aikaa, jos haluat seurata etenemistä komento komennolta niin 'sudo salt-call --local -l debug state.apply terosapps'. Sisäänrakennettu ohje kertoo, kuinka "pgks" toimii: 'salt-call --local sys.state_doc pkg.installed|less'

b) Sammakko ja skorppioni. Lisää Microsoftin pakettivarasto ja asenna Visual Studio Code.

Vinkki: kun pakettivarasto (repository) on asennettu, vscoden päivitykset asentuvat muiden päivitysten mukana. 'sudo apt-get update; sudo apt-get dist-upgrade' päivitää kaikki ohjelmat (Linux, Apache, Firefox, curl...). Tämän päivityksen voi halutessaan automatisoida kokonaan.

c) CSI Pasila. Tiedostoista saa aikajanan 'cd /etc/; sudo find -printf '%T+ %p\n'|sort|tail'.

  • Anna esimerkki aikajanasta
  • Selitä jokainen kohta komennosta, jolla aikajana tehdään. Vinkki: '%T+' löytyy 'man find' kohdasta printf.
  • Aja jokin komento, joka muuttaa järjestelmän yhteisiä asetustiedostoja
  • Ota uusi aikajana ja etsi muutos sieltä
  • Onko samalla hetkellä muutettu yhtä vai useampaa tiedostoa?

c) Tiedän mitä teit viime kesän^H^H^H komennolla. Säädä jotain ohjelmaa ja etsi sen muuttamat tiedostot aikajanasta. Tee sitten tästä oma Saltin tila.

Vinkki: tässä kohdassa pitää muuttaa jonkin ohjelman asetuksia, pelkkä ohjelman asennus pkg.installed on liian helppoa.

d) Asenna jokin toinen ohjelma asetuksineen.

Vinkki: tässäkin kohdassa edellytetään asetusten muuttamista. Jos haluat, voit valita erilaisen ohjelman kuin c-kohdassa. Esimerkiksi jos asensit c-kohdassa demonin, voit asentaa tässä komentoriviohjelman tai graafisen käyttöliittymän ohjelman.

h5 Uusi komento

a) Hei komento! Tee järjestelmään uusi "hei maailma" -komento ja asenna se orjille Saltilla. Liitä raporttiisi 'ls -l /usr/local/bin/' tulosteesta ainakin se rivi, jolla näkyy uuden komentotiedostosi oikeudet. Vinkkejä: tee shell script, joka tulostaa "hei maailma". Kokeile ensin käsin, sitten automatisoi. Luonteva paikka paketinhalllinnan ulkopuolelta asennetuille ohjelmille on /usr/local/bin/. Katso myös 'salt-call --local sys.state_doc file.managed'. Muista (aina ja kaikessa mitä teet tietokoneella) testata lopputulos. Hyvä testi on mahdollisimman lähellä sitä, mitä käyttäjä tekisi.

b) whatsup.sh. Tee järjestelmään uusi komento, joka kertoo ajankohtaisia tietoja; asenna se orjille. Vinkkejä: Voit näyttää valintasi mukaan esimerkiksi päivämäärää, säätä, tietoja koneesta, verkon tilanteesta...

c) hello.py. Tee järjestelmään uusi komento Pythonilla ja asenna se orjille. Vinkkejä: Hei maailma riittää, mutta propellihatut saavat toki koodaillakin. Shebang on "#!/usr/bin/python3". Helpoin Python-komento on: print("Hei Tero!")

d) Laiskaa skriptailua. Tee kansio, josta jokainen skripti kopioituu orjille. Vinkki: 'salt-call --local sys.state_doc file.recurse'. Kun tämä on valmis, on todella helppoa laittaa orjille mikä tahansa yhden tiedoston shell script, Python-ohjelma, Perl-ohjelma, Go-binääri tai muu yhden binäärin ohjelma.

e) Intel. Etsi kolme loppuprojektia joltain vanhalta kurssitoteutukselta. Kuvaile projektit tiiviisti ja linkitä alkuperäiseeen raporttin. Vinkkejä: Loppuprojekteja löydät etsimällä opiskelijoiden raportteja vanhoilta kursseilta ja selailemalla sivuja, joilta ne löytyivät. Raportteja löytyy vanhojen kurssitotetusten kommenteista. Ja tietysti kannattaa silmäillä listaa sieltä täältä, niin näet eri projektit kuin muut. Voi hakea myös Googlella ja DuckDuckGolla.

e) Lukua, ei luottamusta. Kokeile yhtä kohdassa d-Intel löytämääsi modulia koneella. Tämä on infraa koodina, joten luottamusta ei tarvita. Voit lukea koodista, mitä olet ajamassa.

h6 moottorix

a) Asenna Nginx Saltilla.

Vinkkejä: Tee ensin käsin, automatisoi sitten. Tee pienin testattava kokonaisuus kerralla. Asenna paketit ensisijaisesti paketinhallinnasta. Tee tarvittavat asetukset, jotta Nginx näyttää weppisivua.

b) Tee Nginx:n Saltilla jokin muukin asetus tai uusi ominaisuus.

c) Asenna jokin työpöytä- tai komentoriviohjelma asetuksineen Saltilla.

h7 Oma moduli

Oma moduli (iso tehtävä). Ratkaise jokin oikean elämän tai keksitty tarve omilla tiloilla/moduleilla. Voit käyttää Salttia tai muuta valitsemaasi modernia keskitetyn hallinnan ohjelmaa. Esitä tulos viimeisellä opetuskerralla, 5-10 min. Live demo olisi kiva. Raportoi modulisi tarkoitus, koodi ja testit.