Configuration management systems 2022
Palvelinten hallinta ICT4TN022-3015 ke ilta ja ICT4TN022-3013 torstai

Tux the Linux penguin

Remotely control hundreds of machines, from cloud to laptop. Excellent 4.95/5 feedback, read student comments.

Linux course done, and now you want more? Your laptops keep moving around the network and go behind firewalls, but you still want to control them? You went to cloud, and have so many computers now?

Enroll Monday at 08:00

Course name and code: Palvelinten hallinta ict4tn022-3015 Wed evening and ICT4TN022-3013 Thu
Timing 2022 period 4 late spring, w13-w20
Credits 5 cr
Classes Two groups, choose one: Wed 17:40-20:30 or Thursdays 8:15 - 13:45. Online, mandatory participation
Max students 30. Enroll 2021-11-29 w48 Monday at 08:00.
Language Finnish (+reading material in English)
Remote Yes, fully remote
Feedback 4.95 / 5 Excellent feedback * Five star experience
Services Moodle, Jitsi
First class 2022-03-30 w13 Wed 16:00 or 2022-03-31 w13 Thu 08:15, Tero emails video conference link

* Two instances in 2021 spring, one had 4.9/5 feedback and the other had 5.0/5 (every participant gave feedback, every feedback was 5). Read student comments.

Just write what you want (idempotency). Control almost everything with one system (single source of truth). In plain text (infrastructure as code, versionable).

Control 10 computers. Or 100. Or 1000. Or control 2071 computers, like Jussi did on a previous course. Or handle 7 different operating systems (Linux, Windows, BSD...) and OS versions with a single master, like Matias.

My current research area is configuration management systems: I gave an invited speech in IEEE ICIM Chengdu and a plenary speech in IEEE ICIM Oxford; I’ve also been teaching these modern methods to companies. Previous feedback for this course has been from very good 4.3 to excellent 4.9 out of 5.

The course is in Finnish (and requires full fluency in Finnish), so the rest of this page is in Finnish.

Opintojakson suoritettuaan opiskelija

  • Osaa hallita palvelimia kuvailemalla tavoitetilan (idempotenssi)
  • Osaa tehdä asetukset pelkkänä tekstinä ja versioitavasti (infrastruktuuri koodina)
  • Pystyy tekemään tavalliset ylläpitotoimet valitulla työkalulla Saltilla (yksi totuus)

Esitiedot

Esitiedot, kertaa nämä. Kysely toisella opetuskerralla.

Opettele komennot ja hakemistot ulkoa. Harjoittele niitä kokeilemalla moneen kertaan Linuxissa.

Alustava aikataulu

Aiheet elävät kurssin aikana, päivämäärät sen sijaan kannattaa kirjoittaa kalenteriin saman tien.

Kaksi ryhmää, ilmoittaudu ja osallistu jompaan kumpaan:

  • keskiviikkona illalla 17:40 - 20:30, tai
  • torstaina 08:00 - 13:45
Päivä Aihe
w13 Hei Salt! Orjakoneiden ohjaaminen tulimuurien takaa
w14 Demonien automaattinen hallinta, Apache ja SSH automatisointi
w15 Git, maailman suosituin versionhallinta.
w16 Edistyneempiä Linux-tekniikoita.
w17 Käyttäjän ohjelmien ja asetusten hallinta.
w18 Oikeaa elämää - oma miniprojekti
w19 Kertaus ja neuvoja omien järjestelmien hallintaan
w20 Omien miniprojektien esittely

Arviointi

Osien ohjeelliset painoarvot ovat

  • Kotitehtävät 50%
  • Oma moduli 50%

Arvosana perustuu kokonaisarvioon suorituksista. Kaikki kotitehtävät pitää tehdä. Etäopetukseen pitää osallistua aktiivisesti.

Työkaluja kurssille

Install Debian on Virtualbox

Remote Learning Tools for Tero's Courses

Läksyt

Palautus 24 h ennen seuraavan tapaamiskerran alkua. Weppisivulle (HTML), ja Moodleen pelkkä linkki. Halutessasi voit laittaa linkin myös kommentiksi tämän sivun perään, niin sivusi saa lisää kävijöitä ja nousee PageRankissa. Kannattaa julkaista, mutta jos et uskalla tai muuten halua, Moodlessa on ohje sivun piilottamisesta. Kaikkien ajan säästämiseksi poistan kurssilta ne, jotka eivät palauta kotitehtäviä.

Nämä läksyt ovat alustavia. Läksyt ovat virallisia vasta, kun ne on annettu tunnilla. Tämä on edistynyt kurssi, joten pystymme tekemään muutoksia kurssin kuluessa ja sovittamaan läksyt aiheen mukaan.

h1 Hei maailma & monet tilat

z) Lue ja tiivistä kukin artikkeli muutamalla ranskalaisella viivalla. Tässä z-alakohdassa ei tarvitse siis tehdä testejä tietokoneella.

Kertaa esitiedot ja opettele näiden esitietoartikkeleiden komennot ulkoa, eli "Command Line Basics Revisited" ja "Install Apache Web Server on Ubuntu".

Tee ja raportoi: Kokeet tulee tehdä tietokoneella ja kirjoittaa raportti samalla. Vaikka olisit joskus kokeillut samanlaisia asioita, pelkkä muistelu ei riitä, vaan testit tulee tehdä ja raportoida samalla.

a) Mikä meininki? Selvitä, mikä käyttöjärjestelmä (Linuxin versio) sinulla on käytössä, ja mikä Saltin versio.

b) Hei koodina! Tee "Hei Saltin maailma" omana erillisinä tiedostona (esim. /srv/salt/hellotero/init.sls)

c) Onko tietoa? Kerää jostain koneesta tiedot Saltilla, esimerkiksi käyttöjärjestelmä, vapaan muistin määrä, virtualisointi jne. Poimi tuloksesta olennaiset osat ja selitä ne.

d) Kultajyvät. Laadi komento, joka näyttää koneesta vain tärkeimmät tiedot (grains.item)

e) Tee oma konfiguraatio (infraa koodina), jossa on useampia tilafunktioita samassa tiedostossa.

f) Idempotenssi. Tee idempotentti esimerkkikomento saltilla. Aja komentoa useita kertoja. Osoita selitetyin esimerkein, että komentosi on idempotentti.

g) Omat mausteet. Kokeile jotain uutta (ei aiemmin kurssilla näytettyä) ominaisuutta kustakin tärkeimmästä tilafunktiosta pkg, file, service, user.

h) Vapaaehtoinen: kokeile Saltia Windowsissa.

i) Vapaaehtoinen: kokeile herra-orja -arkkitehtuuria yhdellä koneella, niin että herra ja orja ovat samalla koneella.

j) Vapaaehtoinen: lisää koneeseen orja, joka on eri koneella.

k) Vapaaehtoinen: asenna ja tee asetukset jollekin palvelimelle (Apache, SSHd...) Saltilla. (pkg-file-service)

Vinkkejä:

  • Karvinen 2006: Raportin kirjoittaminen
  • Mikä meininki? 'cat /etc/*version /etc/*release', 'uname -a', 'sudo salt-call --version' (tai grainsilla)
  • Karvinen et al 2021: Can You Control Hundred Computers?: Comments
    • Hei maailma tiedostosta - infra as code
    • Ratkaisu ongelmaan: apt-get ei löydä paketteja (salt-minion, tree) Debian 11-bullseye:lla
  • Tietoja koneesta: grains.items, grains.item
  • Ohjeita 'sudo salt-call --local sys.state_doc|less'
  • Omat mausteet: ohje yhdestä funktiosta 'sudo salt-call --local sys.state_doc pkg'
  • Vaikeita kohtia? Ratko kaikki mitä osaat, raportoi ja palauta ajoissa. Vaikeasta tai kesken jääneestä kohdasta erityisen tarkka raportti: mitä teit, mitä tapahtui. Ota ruutukaappaukset ja sanatarkat virheilmoitukset talteen. Mistä arvelet ongelman johtuvan? Mitä ratkaisuvaihtoehtoja vielä voisi kokeilla? Löydätkö (esim virheilmoituksella hakemalla) lähteitä, joissa ehdotetaan ratkaisuja? Ja katsotaan yhdessä tunnilla loput.

h2 master-slave

z) Lue ja tiivistä, muutama ranskalainen viiva riittää.

a) Two-face. Tee koneesta oma orjansa, eli asenna salt-master ja salt-slave samalle koneelle. Osoita, että voit ohjata orjaa tämän yhteyden yli.

b) Hello Vagrant! Asenna "debian/bullseye64" aloittamalla 'vagrant init' -komennolla. Kokeile asentaa jotakin uudelle virtuaalikoneelle. Poista lopuksi virtuaalikone. (Korjasin komennon salt init -> vagrant init)

c) Mun verkko. Asenna kaksi vagrant-virtuaalikonetta samaan verkkoon. Teron Vagrantfile voi olla hyödyksi. Kokeile kirjautua kummalekin koneelle. Kokeile pingata koneilta toisiaan. Kokeile pingata kummaltakin koneelta jotain konetta Internetissa.

d) Master-slave. Asenna äsken tekemillesi koneille Salt master-slave arkkitehtuuri niin, että toinen kone on herra ja toinen orja. Testaa asennuksen toimivuus.

e) As code. Kirjoita infraa koodina (esim /srv/salt/heitero/init.sls) ja ota nämä asetukset käyttöön orjalla. Käytä orjaa edellisestä kohdasta niin, että asetukset otetaan käyttöön verkon yli.

f) Vapaaehtoinen: kokeile Saltia jollain muulla alustalla kuin tunnilla käytetty Debian amd64.

g) Vapaaehtoinen: ohjaa kolmea orjaa.

Vinkkejä:

  • Demonien käynnistys 'sudo systemctl start salt-master'
  • Jos muokkaat jotain asetustiedostoa 'sudoedit /etc/salt/minion', käske myös tuon demonin lukea uudet asetukset 'sudo systemctl restart salt-minion'
  • Vaikeita kohtia? Ratko kaikki mitä osaat, raportoi ja palauta ajoissa. Vaikeasta tai kesken jääneestä kohdasta erityisen tarkka raportti: mitä teit, mitä tapahtui. Ota ruutukaappaukset ja sanatarkat virheilmoitukset talteen. Mistä arvelet ongelman johtuvan? Mitä ratkaisuvaihtoehtoja vielä voisi kokeilla? Löydätkö (esim virheilmoituksella hakemalla) lähteitä, joissa ehdotetaan ratkaisuja? Ja katsotaan yhdessä tunnilla loput.

h3 Versionhallinta

z) Lue ja tiivistä artikkeli muutamalla ranskalaisella viivalla. Tässä z-alakohdassa ei tarvitse siis tehdä testejä tietokoneella.

a) MarkDown. Tee tämän tehtävän raportti MarkDownina. Helpointa on tehdä raportti GitHub-varastoon, jolloin md-päätteiset tiedostot muotoillaan automaattisesti. Tyhjä rivi tekee kappalejaon, risuaita ‘#’ tekee otsikon, sisennys merkitsee koodinpätkän.

b) Pull first. Tee useita muutoksia git-varastoosi. Tee muutama muutos, jossa yksi commit koskee useampaa tiedostoa. Anna hyvä kuvaukset (commit message), yksi englanninkielinen lause imperatiivissa (määräysmuodossa) "Add top level menu to Foobar synchronizer"

b) Kaikki kirjataan. Näytä omalla git-varastollasi esimerkit komennoista ‘git log’, ‘git diff’ ja ‘git blame’. Selitä tulokset.

c) Huppis! Tee tyhmä muutos gittiin, älä tee commit:tia. Tuhoa huonot muutokset ‘git reset --hard’. Huomaa, että tässä toiminnossa ei ole peruutusnappia.

d) Formula. Tee uusi salt-tila (formula, moduli, infraa koodina). (Eli uusi tiedosto esim. /srv/salt/terontila/init.sls). Voit tehdä ihan yksinkertaisen parin funktion (pkg, file...) tilan, tai edistyneemmin asentaa ja konfiguroida minkä vain uuden ohjelman: demonin, työpöytäohjelman tai komentokehotteesta toimivan ohjelman. Käytä tarvittaessa ‘find -printf “%T+ %p\n”|sort’ löytääksesi uudet asetustiedostot.

f) Vapaaehtoinen: Laita srv/salt/ gittiin. Tee uusi moduli. Kloonaa varastosi toiselle koneelle (tai poista srv/salt ja palauta se kloonaamalla) ja jatka sillä.

e) Vapaaehtoinen: Omaa koiranruokaa. Säädä jotain käyttämääsi konetta Saltilla.

h4 Aikajana

Vinkkejä:

  • Lähes kaiken voi konfiguroida viidellä funktiolla: pkg-file-service (watch), user, exec.
  • Asenna aina ensin käsin
  • Ohjelmat tallentavat asetukset tiedostoihin. Joten aikajana tiedostoista näyttää, mitkä tiedostot pitää tehdä.
  • Saltilla asennetaan ohjelma (pkg), laitetaan asetustiedostot paikalleen (file) ja lopuksi jokin ohjelma lukee tiedot (service-watch; työpöytäohjelma kun se avataan; pakettilista sudo apt-get update tai pkg-refresh).
  • Testaa. Tee pienin testattava kokonaisuus kerralla.

a) Captain obvious. Linuxissa on paketinhallinta, joten ohjelmien asentaminen on yksinkertaista. Tee tila, joka asentaa 10 suosikkiohjelmaasi paketinhallinnasta. Tässä a-kohdassa voit jättää ohjelmat oletusasetuksille.

Vinkkejä: Asenna tässä a-kohdassa valmiiksi luotetuista pakettivarastoista, niin ei tarvitse asentaa uusia varastoja, ja tiedät saavasi vapaita ohjelmia. Ohjelmien asennus voi viedä aikaa, jos haluat seurata etenemistä komento komennolta niin 'sudo salt-call --local -l debug state.apply terosapps'. Sisäänrakennettu ohje kertoo, kuinka "pgks" toimii: 'salt-call --local sys.state_doc pkg.installed|less'

b) CSI Pasila. Tiedostoista saa aikajanan 'cd /etc/; sudo find -printf '%T+ %p\n'|sort|tail'.

  • Anna esimerkki aikajanasta
  • Selitä jokainen kohta komennosta, jolla aikajana tehdään. Vinkki: '%T+' löytyy 'man find' kohdasta printf.
  • Aja jokin komento, joka muuttaa järjestelmän yhteisiä asetustiedostoja
  • Ota uusi aikajana ja etsi muutos sieltä
  • Onko samalla hetkellä muutettu yhtä vai useampaa tiedostoa?

c) Tiedän mitä teit viime kesän^H^H^H komennolla. Säädä jotain ohjelmaa ja etsi sen muuttamat tiedostot aikajanasta. Tee sitten tästä oma Saltin tila.

Vinkki: tässä kohdassa pitää muuttaa jonkin ohjelman asetuksia, pelkkä ohjelman asennus pkg.installed on liian helppoa.

d) Asenna jokin toinen ohjelma asetuksineen.

Vinkki: tässäkin kohdassa edellytetään asetusten muuttamista. Jos haluat, voit valita erilaisen ohjelman kuin c-kohdassa. Esimerkiksi jos asensit c-kohdassa demonin, voit asentaa tässä komentoriviohjelman tai graafisen käyttöliittymän ohjelman.

h5 Uusi komento

a) Hei komento! Tee järjestelmään uusi "hei maailma" -komento ja asenna se orjille Saltilla. Liitä raporttiisi 'ls -l /usr/local/bin/' tulosteesta ainakin se rivi, jolla näkyy uuden komentotiedostosi oikeudet. Vinkkejä: tee shell script, joka tulostaa "hei maailma". Kokeile ensin käsin, sitten automatisoi. Luonteva paikka paketinhalllinnan ulkopuolelta asennetuille ohjelmille on /usr/local/bin/. Katso myös 'salt-call --local sys.state_doc file.managed'. Muista (aina ja kaikessa mitä teet tietokoneella) testata lopputulos. Hyvä testi on mahdollisimman lähellä sitä, mitä käyttäjä tekisi.

b) whatsup.sh. Tee järjestelmään uusi komento, joka kertoo ajankohtaisia tietoja; asenna se orjille. Vinkkejä: Voit näyttää valintasi mukaan esimerkiksi päivämäärää, säätä, tietoja koneesta, verkon tilanteesta...

c) hello.py. Tee järjestelmään uusi komento Pythonilla ja asenna se orjille. Vinkkejä: Hei maailma riittää, mutta propellihatut saavat toki koodaillakin. Shebang on "#!/usr/bin/python3". Helpoin Python-komento on: print("Hei Tero!")

d) Laiskaa skriptailua. Tee kansio, josta jokainen skripti kopioituu orjille. Vinkki: 'salt-call --local sys.state_doc file.recurse'. Kun tämä on valmis, on todella helppoa laittaa orjille mikä tahansa yhden tiedoston shell script, Python-ohjelma, Perl-ohjelma, Go-binääri tai muu yhden binäärin ohjelma.

e) Intel. Etsi kolme loppuprojektia joltain vanhalta kurssitoteutukselta. Kuvaile projektit tiiviisti ja linkitä alkuperäiseeen raporttin. Vinkkejä: Loppuprojekteja löydät etsimällä opiskelijoiden raportteja vanhoilta kursseilta ja selailemalla sivuja, joilta ne löytyivät. Raportteja löytyy vanhojen kurssitotetusten kommenteista. Ja tietysti kannattaa silmäillä listaa sieltä täältä, niin näet eri projektit kuin muut. Voi hakea myös Googlella ja DuckDuckGolla.

e) Lukua, ei luottamusta. Kokeile yhtä kohdassa d-Intel löytämääsi modulia koneella. Tämä on infraa koodina, joten luottamusta ei tarvita. Voit lukea koodista, mitä olet ajamassa.

h6 moottorix

a) Asenna Nginx Saltilla.

Vinkkejä: Tee ensin käsin, automatisoi sitten. Tee pienin testattava kokonaisuus kerralla. Asenna paketit ensisijaisesti paketinhallinnasta. Tee tarvittavat asetukset, jotta Nginx näyttää weppisivua.

b) Tee Nginx:n Saltilla jokin muukin asetus tai uusi ominaisuus.

c) Asenna jokin työpöytä- tai komentoriviohjelma asetuksineen Saltilla.

h7 Oma moduli

Oma moduli (iso tehtävä). Ratkaise jokin oikean elämän tai keksitty tarve omilla tiloilla/moduleilla. Voit käyttää Salttia tai muuta valitsemaasi modernia keskitetyn hallinnan ohjelmaa. Esitä tulos viimeisellä opetuskerralla, 5-10 min. Live demo olisi kiva. Raportoi modulisi tarkoitus, koodi ja testit.