Can You Control Hundred Computers?
Palvelinten hallinta - ICT4TN022-3014 - 2021 late autumn

Tux the Linux penguin

Remotely control hundreds of machines, from cloud to laptop. Excellent 4.95/5 feedback, read student comments.

Linux course done, and now you want more? Your laptops keep moving around the network and go behind firewalls, but you still want to control them? You went to cloud, and have so many computers now? Palvelinten hallinta ict4tn022-3014.

Yes, you can still enroll. Yes it's popular and yes there is a queue, but I can often fit many students from the queue.

Update: New visitor: Arttu Uskali, Head of Support, Upcloud

Update: New visitor: Juho Syrjänen, Fraktio

Course name and code: Palvelinten hallinta ict4tn022-3014
Timing 2021 period 2 late autumn, w43-w50
Credits 5 cr
Classes Thursdays 8:15 - 13:45, online, mandatory participation
Max students 30 (fully booked, enroll quickly to get a place in the queue)
Language Finnish (+reading material in English)
Remote Yes, fully remote
Feedback 4.95 / 5 Excellent feedback * Five star experience
Services Moodle, Jitsi
First class 2021-10-28 w43 Thu 08:15, Tero emails video conference link

* Two instances in 2021 spring, one had 4.9/5 feedback and the other had 5.0/5 (every participant gave feedback, every feedback was 5). Read student comments.

Just write what you want (idempotency). Control almost everything with one system (single source of truth). In plain text (infrastructure as code, versionable).

Control 10 computers. Or 100. Or 1000. Or control 2071 computers, like Jussi did on a previous course. Or handle 7 different operating systems (Linux, Windows, BSD...) and OS versions with a single master, like Matias.

My current research area is configuration management systems: I gave an invited speech in IEEE ICIM Chengdu and a plenary speech in IEEE ICIM Oxford; I’ve also been teaching these modern methods to companies. Previous feedback for this course has been from very good 4.3 to excellent 4.9 out of 5.

The course is in Finnish (and requires full fluency in Finnish), so the rest of this page is in Finnish.

Opintojakson suoritettuaan opiskelija

  • Osaa hallita palvelimia kuvailemalla tavoitetilan (idempotenssi)
  • Osaa tehdä asetukset pelkkänä tekstinä ja versioitavasti (infrastruktuuri koodina)
  • Pystyy tekemään tavalliset ylläpitotoimet valitulla työkalulla Saltilla (yksi totuus)

Esitiedot

Esitiedot, kertaa nämä. Kysely toisella opetuskerralla.

Opettele komennot ja hakemistot ulkoa. Harjoittele niitä kokeilemalla moneen kertaan Linuxissa.

Alustava aikataulu

Pidän kaikki kurssini kokonaan etäopetuksena syksyllä 2021. Kurssi kestää 8 viikkoa, 2021 periodin 2 eli loppusyksyn. Läksyt 24 h ennen seuraavan lähiopetuskerran alkua linkkinä Moodleen (vaatii Haaga-Helian tunnukset).

Tämä alustava aikataulu elää kurssin aikana.

Aihe Viikko
1. Orjakoneiden ohjaaminen tuntemattomista osoitteista ja tulimuurien takaa w43
2. Demonien automaattinen hallinta, Apache ja SSH automatisointi w44
3. Git, maailman suosituin versionhallinta. Vierailu: 10:00 DevOps, Juho Syrjänen, Fraktio. w45
4. Vierailu: Support for global public and private cloud. Arttu Uskali, Head of Support, Upcloud w46
5. Käyttäjän ohjelmien ja asetusten hallinta. w47
6. Oikeaa elämää - oma miniprojekti w48
7. Kertaus ja neuvoja omien järjestelmien hallintaan w49
8. Omien miniprojektien esittely w50

Arviointi

Osien ohjeelliset painoarvot ovat

  • Kotitehtävät 50%
  • Oma moduli 50%

Arvosana perustuu kokonaisarvioon suorituksista. Kaikki kotitehtävät pitää tehdä. Etäopetukseen pitää osallistua aktiivisesti.

Työkaluja kurssille

Install Debian on Virtualbox

Remote Learning Tools for Tero's Courses

Läksyt

Palautus 24 h ennen seuraavaa lukujärjestykseen merkittyä aikaa (riippumatta siitä, onko silloin videotapaamista). Weppisivulle (HTML), ja Moodleen pelkkä linkki. Halutessasi voit laittaa linkin myös kommentiksi tämän sivun perään, niin sivusi saa lisää kävijöitä ja nousee PageRankissa.

Nämä läksyt ovat alustavia. Läksyt ovat virallisia vasta, kun ne on annettu tunnilla. Tämä on edistynyt kurssi, joten pystymme tekemään muutoksia kurssin kuluessa ja sovittamaan läksyt aiheen mukaan.

h1 Hei maailma, verkon yli ja idempotenssi.

Lue aikataulussa mainitut artikkelit. Joko linkistä tai googlettamalla/duckittamalla artikkelin nimeä.

x) Kertaa esitiedot Esitiedot (vain luku, tätä x-alakohtaa ei tarvitse raportoida, kysellään oppitunnilla, suoritettava hyväksytysti)

y) Lue aikataulussa mainitut artikkelit (vain luku, tätä y-alakohtaa ei tarvitse raportoida. Aikataulussa mainitut artikkelit tulee opiskella tietysti joka viikko, mutta päivitin tähän nyt vielä tämän y-kohdan muistutukseksi. )

a) Asenna Salt ja siihen uusi orja. Voit tehdä ne esimerkiksi uudelle virtuaalikoneelle, niin pääset kokeilemaan puhtaalta pöydältä.

b) Tee saltille idempotentti hei maailma (siis tiedostosta, foo.sls)

d) Kerää tietoa koneesta saltin avulla (grains.items)

e) Kokeile jotain toista tilaa kuin file.managed. Tärkeitä ovat pkg.installed, file.managed, service.running, file.symlink, user.present, group.present. Ohjeita saa esim "sudo salt '*' sys.state_doc pkg.installed|less"

f) Vapaaehtoinen: Laita Salt Master palvelimelle, joka näkyy Internetiin. Silloin orjat saavat siihen yhteyden tulimuurin läpi, ei-julkisista (NAT) osoitteista ja vaikkapa virtuaalikoneista.

h2 Package-File-Service

a) Demonin asetukset. Säädä jokin demoni (asenna+tee asetukset+testaa) package-file-service -rakenteella. Tunnilla asennettiin Apache vaihdetulla oletussivulla, joten tee jotain muuta). Voit esimerkiksi asentaa SSH-palvelimen tai tehdä jotain muuta Apachella. Ensin käsin: muista tehdä ja raportoida asennus ensin käsin, vasta sitten automatisoiden.

b) Uusi ohjelma. Asenna + tee asetukset + testaa jokin sovellus, jota ei ole käsitelty tunnilla. Asenna ensin käsin, ja käytä sen jälkeen find-komentoa etsiäksesi muuttuneet tiedostot.

c) Aja jokin tila paikallisesti ilman master-slave arkkitehtuuria. Tutki debug-tulostetta. 'sudo salt-call --local state.apply hellotero -l debug'

d) Vapaaehtoinen: Omaa koiranruokaa. Asenna ja säädä salt:lla jokin ohjelma, jota oikeasti käytät. Esimerkiksi omalla läppärillä tai omalla Linoden/DigitalOceanin/OVH:n tms palvelimella.

e) Vapaaehtoinen: Suolaa, suolaa, ennemmän suolaa. Säädä useita käytössäsi olevia ohjelmia salt:lla. Tällainen käyttö antaa kokemusta ja itsevarmuutta keskitettyyn hallintaan. Ja tekee helpoksi ottaa uusia koneita omaan käyttöön.

h3 Versionhallinta

z) Opiskele yllä aikataulussa olevat artikkelit. Noissa artikkeleissa opetetaan ne asiat, joilla läksyt saa tehtyä. Tätä z-kohdan lukutehtävää ei tarvitse raportoida. Luettava materiaali on kunkin tapaamiskerran kohdalla.

a) MarkDown. Tee tämän tehtävän raportti MarkDownina. Helpointa on tehdä raportti GitHub-varastoon, jolloin md-päätteiset tiedostot muotoillaan automaattisesti. Tyhjä rivi tekee kappalejaon, risuaita ‘#’ tekee otsikon, sisennys merkitsee koodinpätkän. Vinkkinä artikkelini Publish Your Project with GitHub.

d) Näytä omalla git-varastollasi esimerkit komennoista ‘git log’, ‘git diff’ ja ‘git blame’. Selitä tulokset.

e) Tee tyhmä muutos gittiin, älä tee commit:tia. Tuhoa huonot muutokset ‘git reset –hard’. Huomaa, että tässä toiminnossa ei ole peruutusnappia.

f) Tee uusi salt-moduli. Voit asentaa ja konfiguroida minkä vain uuden ohjelman: demonin, työpöytäohjelman tai komentokehotteesta toimivan ohjelman. Käytä tarvittaessa ‘find -printf “%T+ %p\n”|sort’ löytääksesi uudet asetustiedostot. (Tietysti eri ohjelma kuin aiemmissa tehtävissä, tarkoitushan on harjoitella Salttia)

d) Vapaaehtoinen: Laita srv/salt/ gittiin. Tee uusi moduli. Kloonaa varastosi toiselle koneelle (tai poista srv/salt ja palauta se kloonaamalla) ja jatka sillä.

h4 Aikajana

Vinkkejä:

  • Lähes kaiken voi konfiguroida viidellä funktiolla: pkg-file-service (watch), user, exec.
  • Asenna aina ensin käsin
  • Ohjelmat tallentavat asetukset tiedostoihin. Joten aikajana tiedostoista näyttää, mitkä tiedostot pitää tehdä.
  • Saltilla asennetaan ohjelma (pkg), laitetaan asetustiedostot paikalleen (file) ja lopuksi jokin ohjelma lukee tiedot (service-watch; työpöytäohjelma kun se avataan; pakettilista sudo apt-get update tai pkg-refresh).
  • Testaa. Tee pienin testattava kokonaisuus kerralla.

a) Captain obvious. Linuxissa on paketinhallinta, joten ohjelmien asentaminen on yksinkertaista. Tee tila, joka asentaa 10 suosikkiohjelmaasi paketinhallinnasta. Tässä a-kohdassa voit jättää ohjelmat oletusasetuksille.

Vinkkejä: Asenna tässä a-kohdassa valmiiksi luotetuista pakettivarastoista, niin ei tarvitse asentaa uusia varastoja, ja tiedät saavasi vapaita ohjelmia. Ohjelmien asennus voi viedä aikaa, jos haluat seurata etenemistä komento komennolta niin 'sudo salt-call --local -l debug state.apply terosapps'. Sisäänrakennettu ohje kertoo, kuinka "pgks" toimii: 'salt-call --local sys.state_doc pkg.installed|less'

b) Sammakko ja skorppioni. Lisää Microsoftin pakettivarasto ja asenna Visual Studio Code.

Vinkki: kun pakettivarasto (repository) on asennettu, vscoden päivitykset asentuvat muiden päivitysten mukana. 'sudo apt-get update; sudo apt-get dist-upgrade' päivitää kaikki ohjelmat (Linux, Apache, Firefox, curl...). Tämän päivityksen voi halutessaan automatisoida kokonaan.

c) CSI Pasila. Tiedostoista saa aikajanan 'cd /etc/; sudo find -printf '%T+ %p\n'|sort|tail'.

  • Anna esimerkki aikajanasta
  • Selitä jokainen kohta komennosta, jolla aikajana tehdään. Vinkki: '%T+' löytyy 'man find' kohdasta printf.
  • Aja jokin komento, joka muuttaa järjestelmän yhteisiä asetustiedostoja
  • Ota uusi aikajana ja etsi muutos sieltä
  • Onko samalla hetkellä muutettu yhtä vai useampaa tiedostoa?

c) Tiedän mitä teit viime kesän^H^H^H komennolla. Säädä jotain ohjelmaa ja etsi sen muuttamat tiedostot aikajanasta. Tee sitten tästä oma Saltin tila.

Vinkki: tässä kohdassa pitää muuttaa jonkin ohjelman asetuksia, pelkkä ohjelman asennus pkg.installed on liian helppoa.

d) Asenna jokin toinen ohjelma asetuksineen.

Vinkki: tässäkin kohdassa edellytetään asetusten muuttamista. Jos haluat, voit valita erilaisen ohjelman kuin c-kohdassa. Esimerkiksi jos asensit c-kohdassa demonin, voit asentaa tässä komentoriviohjelman tai graafisen käyttöliittymän ohjelman.

h5 Uusi komento

a) Hei komento! Tee järjestelmään uusi "hei maailma" -komento ja asenna se orjille Saltilla. Liitä raporttiisi 'ls -l /usr/local/bin/' tulosteesta ainakin se rivi, jolla näkyy uuden komentotiedostosi oikeudet. Vinkkejä: tee shell script, joka tulostaa "hei maailma". Kokeile ensin käsin, sitten automatisoi. Luonteva paikka paketinhalllinnan ulkopuolelta asennetuille ohjelmille on /usr/local/bin/. Katso myös 'salt-call --local sys.state_doc file.managed'. Muista (aina ja kaikessa mitä teet tietokoneella) testata lopputulos. Hyvä testi on mahdollisimman lähellä sitä, mitä käyttäjä tekisi.

b) whatsup.sh. Tee järjestelmään uusi komento, joka kertoo ajankohtaisia tietoja; asenna se orjille. Vinkkejä: Voit näyttää valintasi mukaan esimerkiksi päivämäärää, säätä, tietoja koneesta, verkon tilanteesta...

c) hello.py. Tee järjestelmään uusi komento Pythonilla ja asenna se orjille. Vinkkejä: Hei maailma riittää, mutta propellihatut saavat toki koodaillakin. Shebang on "#!/usr/bin/python3". Helpoin Python-komento on: print("Hei Tero!")

d) Laiskaa skriptailua. Tee kansio, josta jokainen skripti kopioituu orjille. Vinkki: 'salt-call --local sys.state_doc file.recurse'. Kun tämä on valmis, on todella helppoa laittaa orjille mikä tahansa yhden tiedoston shell script, Python-ohjelma, Perl-ohjelma, Go-binääri tai muu yhden binäärin ohjelma.

e) Intel. Etsi kolme loppuprojektia joltain vanhalta kurssitoteutukselta. Kuvaile projektit tiiviisti ja linkitä alkuperäiseeen raporttin. Vinkkejä: Loppuprojekteja löydät etsimällä opiskelijoiden raportteja vanhoilta kursseilta ja selailemalla sivuja, joilta ne löytyivät. Raportteja löytyy vanhojen kurssitotetusten kommenteista. Ja tietysti kannattaa silmäillä listaa sieltä täältä, niin näet eri projektit kuin muut. Voi hakea myös Googlella ja DuckDuckGolla.

e) Lukua, ei luottamusta. Kokeile yhtä kohdassa d-Intel löytämääsi modulia koneella. Tämä on infraa koodina, joten luottamusta ei tarvita. Voit lukea koodista, mitä olet ajamassa.

h6 moottorix

a) Asenna Nginx Saltilla.

Vinkkejä: Tee ensin käsin, automatisoi sitten. Tee pienin testattava kokonaisuus kerralla. Asenna paketit ensisijaisesti paketinhallinnasta. Tee tarvittavat asetukset, jotta Nginx näyttää weppisivua.

b) Tee Nginx:n Saltilla jokin muukin asetus tai uusi ominaisuus.

c) Asenna jokin työpöytä- tai komentoriviohjelma asetuksineen Saltilla.

h7 Oma moduli

Oma moduli (iso tehtävä). Ratkaise jokin oikean elämän tai keksitty tarve omilla tiloilla/moduleilla. Voit käyttää Salttia tai muuta valitsemaasi modernia keskitetyn hallinnan ohjelmaa. Esitä tulos viimeisellä opetuskerralla, 5-10 min. Live demo olisi kiva. Raportoi modulisi tarkoitus, koodi ja testit.