Hazaút

Hazafelé megpróbáltam telekocsit (blablacar) találni, de elég vegyes tapasztalatokat szereztem. Ketten is visszamondták, köztük a salzburgi fuvarom. Azért Innsbruckba elkeveredtem valahogy. Nem mondhatom hogy precíz sofőrt tálaltam, de legalább tálaltam.
Most mindenki megy nyaralni Olaszországba, keletre viszont nem sokan.

Szóval Dél-Innsbruckban szálltam ki egy benzinkútnál és elkezdtem stoppolni.

Igazándiból nem tudom mit vártam, nem is mentek sokan arrafelé amerre én akartam és számítottam rá, hogy a szakállam hátráltatni fog. Mindenesetre egy óra után elgyalogoltam a pályaudvarig és vonatra szálltam.

Ezzel elköszönök a kedves Olvasótól, további jó nyarat!

Péntek

Célegyenes, finish, Final rush, Zielgerade.

Ma sikerült korábban beérni az Executable SP-ra és előre beizzítottam a SEMPRE-t. Ennek tudom be, hogy most sikerült megcsinálni az óra eleji exercise-ot. Nem úgy mint eddig, mikoris a feladat megbeszélése közben kérdezgettem az előadót, hogy hol van valami fájl és hogy mit nem töltöttem be, ami miatt nem működik.

A MTurk óra helyett most a Semantic Parsing-ot választottam, mert azt duruzsolták, hogy egészen alkalmazott és jó, ami sajnos nem derült ki az abstract-jából.
Az előadó nem más, mint a Student-Lecturer meccs kapusa. Meg kell említenem kivételes kapusi képességeit. Biztosan játszott komolyabb szinten, azt is hallottam hogy órán szokott focis példákat hozni.

A Microblog órán csináltunk twitter bot-ot, nem egy nagy szám, de nyilván nem maga az elkészítése a lényeg, hanem az algoritmus mögötte.

Az utolsó blokkban volt a Markov óra, ami különösebben nem lopta be magára szívembe, de nem volt jobb dolgom. Három hallgató jött el, ezért megkérdezte hogy megtartsa-e egyáltalán. Hát itt aztán volt minden, Hilbert terek, kvantum logika, ami szem-szájnak ingere.
Elhangzott az a gyöngyszem is, hogy "if you have a bug, make it into a feature".

Egyetlen érdekes alkalmazást említettek csak a végén, mégpedig hogy adott eredmény eléréséhez mi a legkevesebb művelet, amivel el lehet végezni. Az alapján amit mondtak, ez csak egy-két kis példára működik. Például a két szám megcserélésé ideiglenes változó nélkül (itt a felhasznált változók számát kell büntetni).

Este szokásos éves-ivás, most Filippel és Vukkal, meg később csatlakozott egy montenegrói haverjuk. Sok érdekességre fény derült a horvát, szerb és montenegrói nyelvről.

Csütörtök

Az executable SP-on elhangzott az, hogy az emberek már tíz éve nem foglalkoznak a helyes formalizmussal, hanem a parser teljesítményével. És a nyelvészet nem segít ebben.

Mondjuk ez már ez elején is várható volt, csak különös, hogy ezt most így ki is mondta.

A MTurk és a Twitter órák most eléggé laposak voltak, az esti előadás sem érdekelt és a Markov-osnak nem adtam több hitelt; nálam már eljátszotta az összeset.

Szóval elmentem mászni, ezúttal a ropeless terembe.

bliccelés

A hely tényleg döglődik, pedig egészen jók a falak. Kicsit koszos volt, meg kicsi a fogássűrűség.

elit környék

Judit talált nagyon jó fel új barátokat, velük mentünk el inni este.

Szerda

Ma az Executable SP-on az előadó 20 perc alatt mondta el a gradiens leszállás és mindenféle optimalizálás alapjait. Ez volt jellemző az előző órára is, 10 perces lambda-kalkulus gyorstalpaló meg ilyenek.

 A Crowdsourcing-on elhangzott az az aranyköpés, hogy

[For some reason] there are people who are satisfied by being first at something.

Az ebédnél javult a helyzet, most már nem volt olyan hosszú a sor, és maradt kaja. A köret- és főételválasztás kombinatorikáját is egészen érteni vélem, viszont az erkölcsök lazulhattak a konyhán, mert most már lehet olyat választani, amit múltkor velem visszarakattak.

A twitter-es óra most sentiment-ről szólt, ami ugyan nem a területem, de ki merem jelenteni, hogy nem voltak olyan jó eredményeik.

Ez után a diák szekció következett, amire csak laptopozni ültem be. Aztán jött a Markov láncos, ami nagyon túlformalizált egy egyszerű dolgot. Vagyis inkább úgy mondanám, hogy tettünk egy felejthető kitérőt a hálók Galoi connection-jei felé.

Este a szobában söröztünk. http://forst.it/

Kedd

Ma teljesen szembe mentem a tegnapi elgondolással, csak a gyakorlati órákra mentem be.

• Executable Semantic Parsing
• Crowdsourcing (Mechanical Turk)
• Microblogs (Twitter)
• Probabilistic Abstract Interpretation

Az eredmény várható volt, nem annyira tömények az órák, de hasznosabbak. Kivéve az Executable SP, ami a SEMPRE-ről szól. Ez egy Stanford-os szoftver, amivel lehet kérdéseket megválaszolni úgy mint Melyik a legnagyobb folyó Észak-Amerikában?. Nem az itt szokásos megközelítést alkalmazza, hanem van benne egy trade-off, hogy te milyen szabályokat veszel fel (és milyen tudásbázist mögé) és hogy mit tanul meg magától (vagyis supervised módon). Lambda kalkulus és CCG azért vastagon van benne.

Ez az óra kifejezetten gyors, csak súrolja az olyan dolgok felszínét, amibe a többi óra kínosan mélyre belemegy. Ez jó is, de így nehéz követni. Mindenesetre erre tényleg érdemes bemenni.

A Crowdsourcing lényegében egy Hogyan csináljunk Mechanical Turk-öt óra. Érdekes ahogyan elválik az alkalmazott és elméleti tábor.

Az előadó nagyon demokratikusan pár perccel előbb befejezte az órát, a múltkor említett ebéd-helyzet miatt.

A Microblogs pedig Twitter-alapú NLP lényegében. Volt alvás-ciklus kutatás, állás-keresők profilozása, ilyesmik. Viszont az egyik padtársam megjegyzéséből arra következtetek, hogy kicsit lenézte ezt az órát, pedig szerintem teljesen korrekt. Nem mondom hogy ez az NLP csúcsa (biztosan nem a nyelvészeté), de értelmes és van rá kereslet. Az előadó CV-jéból azt láttam, hogy nyelvészként végzett, magamban ezzel magyaráztam, hogy a statisztikai módszerei nem annyira erősek, gondolom kicsit tartózkodik az bonyolultabb eszközöktől. Vagy lehet hogy inkább a nyelvi jelenségek érdeklik, azért nem megy bele.

Azt hallottam, hogy az első órán mindenki csalódott, hogy nem építünk Twitter Bot-ot, ezért nem jöttek be ma. Viszont ma azzal kezdte, hogy közkívánatra pénteken lesz Twitter Bot!

A Probabilistic Abstract Interpretation-ön az első óra Markov lánc és valszám bevezető volt, Judit részt vett rajta. Most Tovább léptünk és bevezette egy bizonyos programnyelv Markov láncos leírását, amivel meg lehet becsülni, hogy melyik programrészlet mennyi időt vesz igénybe, átlagosan. Így elvileg lehet valószínűségi (avarage case) kód-optimalizációt csinálni.

Az elgondolás nem rossz, de egyelőre a Markov lánc mérete akkora, hogy csak toy-programokra használható.

Kicsit skeptikus vagyok, de meglátjuk.

Este Verónica Becher, a meghívott előadó, a véletlenről beszélt. Eléggé fáradt voltam már így 4 óra után, de azért adtam neki egy esélyt.

Az előadó a véletlen számsorozatokat kutatja, a véletlennek egy historikus definíciója szempontjából. Ez onnan ered hogy először 1909-ben Borel kezdte el úgy definiálni a véletlen számsorozatokat, hogy nem ismétlődik bennük semmilyen mintázat. Később ez összekapcsolódott kiszámíthatósági kérdésekkel és hogy tud-e egy komputer program valóban véletlen számsorozatot generálni.

Ami azt illeti szerintem ez a tudományterület a háttérbe szorult a mértékelmélettel és a valószínűség analízises (mértékelméleti) leírásával, de hát ha ez a szíve csücske...

A végére olyasmi konklúziót fogalmazott meg, hogy

Ha tudunk nyelvtant írni a nyelvnek, akkor a nyelv nem véletlen.

Hétfő

Új hét, új erővel. Elhatároztam, hogy lemondok az alkalmazásokról és akkor az elméleti órák izgalmasabbak lesznek. A baj az, hogy vannak alkalmazott órák, csak azok nagyon alap szintűek, vagy unalmasak.

Így választottam az algebrai verifikációt, nem-monoton logikát, CCG-t és genericitiy-t.
Az első kettő elég egyértelmű a neve alapján. A szoftver verifikáció-n a CafeOBJ programot tárgyalják. A nem-monoton logika egy újabb próbálkozás arra, hogy az emberek gondolkodásmódját formalizálják. Már évtizedek óta rájöttek a nyelvészek, hogy az emberek nem úgy gondolkodnak, mint a matematikusok, szóval szükség van ezekre, de a megoldás szerintem még sokáig fog váratni magára.

A CCG-t maga Steedman tartotta, nem mondhatnám bevezető jellegűnek, lényegében az első órára el kellett (volna) olvasni a készülő könyvének az első három fejezetét és a lényegi részt a 4. fejezettel fogjuk kezdeni.

A menzát elöntötték a konferenciázók és iskolás csoportok, a szervezők elszámolhattak valamit, mert az ebédnél elfogyott a nagy menü. Ez némi negatív hangulatot keltett.

A Genericity nekem nagyon nyelvészes volt, nem tudom hogy mit gondolhattam amikor ezt választottam. Mindenesetre meghallgattam és eldöntöttem hogy többet nem megyek be rá.

Este barátságos mérkőzést, tartottak a tanárok a diákok ellen. A diákok fürgeségükkel uralták a pályát és fölényesen nyertek. Talán így kéne átadnia a formális NLP-nek a teret a machine learning számára. Ahogyan ez nagyjából meg is történt a világban, eltekintve ettől a szigettől, amit ESSLLI-nek hívunk.

Este az ír kocsmában ittunk egyet.

Vasárnap

Alukáltunk, várost néztünk, gyalog, mert zárva volt a bicikli kölcsönző.
A győzelem emlékmű alatt volt egy érdekes, ingyenes kiállítás Dél-Tirolról.

Aztán elmentünk mászni, most sikerrel, a salewa-cube terembe.
A recepciós egy debreceni srác volt, kicsit dumáltunk vele. 7-8 éve él itt, itt tanult közgázt és most itt is dolgozik projekt manager-ként. A mászóterem felügyelést az egyetem alatt kezdte és most csak hétvégén csinálja, for fun.
A boulder része nem nagy a teremnek, kötelünk viszont nem volt, így maradt a boulder. Azt tudtam meg, hogy a másik terem (ropeless.it) döglődik, azért lehetett zárva.

Szombat

Az első szünnap, már ránk fért. A trivalent logic már kezdett az agyamra menni. Pontosabban nem ment az agyamra, de nem is nem ment az agyamra.

Reggel 8.30-kor gyülekeztünk a felvonónál, amihez már volt szerencsénk. Az esslli-s csapattal egy másik útvonalon mentünk, mint mi csütörtökön. Megnéztük a föld-piramisokat és tervben volt egy tó is, de akkor már lógott az eső lába.
A vasárnapi lake-excursion-t törölték, mert az előrejelzés szerint romlani fog az idő (most is esik).

A nap szava Guy Emerson-tól a wonky, amit ezen templom napórájára mondott.

Visszaértünk a koliba, ittunk egy sört és bealudtunk.

Olaszország nem a söreiről híres, de azért jól esett.

Amikor felébredtem, egy új lakótársat kaptunk. Rendesnek tűnik, beszélgettünk egy kicsit vele a PhD-sok és Magyarország gazdasági helyzetéről.
Az ESSLLI csoportba az egyik szervező posztolt egypár szabadidős lehetőséget. Volt köztük mászóterem is, és nem az, amivel tegnap beszívtam. Szóval szerintem holnap megnézem.

Péntek

Ma a háromértékű logikán az előadók 21-re lapot hívtak és bevezettek egy 7-értékű logikát. Maga a kurzus jól indult, de a végére átment olyan matekba, aminek alkalmazásbeli haszna nincsen.

Itt kifejteném (újra) hogy milyen hibába esett bele a legtöbb kurzus (és a kutatók).
Azt tökre elfogadom, hogy ha valaki a valóságtól teljesen elrugaszkodott elméleti maszturbációval foglalkozik. Ugyanis ez a matematika. Azt is megértem ha valakit csak az alkalmazás érdekel és a százalékok, nem baj nekem, ha nem tudja a mérték szerinti integrál fogalmát.
De ha valaki elmélettel foglalkozik, azzal az ürüggyel, hogy ez fontos az alkalmazásban, majd kifejleszt egy a gyakorlatban nem használható dolgot, az nekem elfogadhatatlan. Az kérem szépen két szék között a pad alá esett.

Az logika kurzushoz visszatérve, matematikailag nagyon fontosak a nem-standard logikák, de ha egy nyelvész azért foglalkozik vele, hogy majd azzal leírja a való élet érveléséit, akkor azt csak úgy fogadom el, ha a való élet vissza is igazolja.

A DSALT záró aktusa egy Baroni és egy Kristina Gulordava előadás volt, valamint egy poszter teaser. Baroni hozta a szokott formát (tartalmat), kicsit adhd-s az ember, de jó fej, közvetlen és értelmes. Kristina előadása mar nem győzött meg annyira, bár rossznak sem mondanám. Kompozicionalitást és nem-kommutativitás vizsgált olasz jelzős szerkezetekben. Most a "vizsgált" szó alatt azt értem hogy számai is voltak. Kristina egyébként kedden nagyon érdeklődött a poszterünk iránt, ott beszéltem vele egykét szót.

Este megpróbáltam mászni, de zárva volt a terem. Legalább a tömegközlekedést megismertem egy kicsit.

A többiek elmentek egy étterembe, ahol sok magyar pincér volt.

Csütörtök

A csütörtöki órák eseménytelenül teltek. Volt egy ígéretes óra, ami lényegében "bevezetés a szóvektorokba". Az első óra túl bevezető volt nekem, de mára azt ígérték, hogy lesznek mátrix algebrák. Ettől vérszemet kaptam, de rá kellett jönnöm, hogy

Nem minden mátrix algebra, ami fénylik.

Lényegében vektorok és mátrixok összeadása, szorzása volt. Ennek ellenére (vagy pont éppen ezért) ez egy nagyon népszerű kurzus. Gondolom ezek a hallgatók a lineáris algebrára hajlamos (vagy rákényszerített) nyelvészek. Mindenesetre maga az óra nem volt rossz, de hamar kimenekültem.

Átmentem az eddig ígéretes és érdekes háromértékű logikára, amit ma Paul Egré tartott. Nagyon jó előadó, de az óra egyre jobban elszakadt a realitástól. Kicsit nyakatekertek voltak a modellek ahhoz hogy alkalmazást tudjak mögéjük képzelni.

"If we bother uttering it at all, it ought to mean something like this"

Ez után elmentünk várost nézni, mert az esti Baroni előadásig nem volt semmi érdekes.
Libegővel felmentünk Soprabolzano-ba, ahol kisvasútra ültünk, majd visszasétáltunk a libegőig és lementünk vele. Ez a kisváros (és környéke) egyszerűen mesés, beszéljenek a képek.

Baroni előadása meglepően jó volt. A neurális hálók Reinforcement Learning problematikájáról beszélt és hogy ezzel lehet nagyon jól megoldani olyan feladatokat, mint sakk vagy Go.
Emberi beszélgetésre alkalmazva ez egészen más, mert beleütközik az ember abba, hogy egy beszélgetésnek nincsen általános célfüggvénye, vagyis hogy nehezen mérhető egy skálán, hogy mennyire volt jó egy adott beszélgetés.

Kollégáival és hallgatóival végeztek érdekes kutatásokat a témában, elmondta az általunk már ACL-ről ismert cikküket is.

https://arxiv.org/abs/1605.07133

Az előadó kicsit csipkelődő volt az alkalmazásoktól elszakadt nyelvészekkel és logikusokkal. Azzal hogy neurális hálókról beszélt egyáltalán, már borítékolta ezt.

Este elmentünk Philippel és Vukkal enni és sörözni. A kaja még mindig drága, de a társaság jó volt. Vuk osztotta a nézetünket az NLP gyakorlatias hozzáállásáról (és annak hiányáról). Ő távol tartotta magát minden logika és elméleti nyelvészet kurzustól.

Szerda

Ma (is) folytattuk a gráf nyelvtanokat, lassú víz partot mos, de biztosan.

Van egy idősáv, amikor jobb híján a Model Counting-ot választottam, annak ellenére hogy már kifejeztem az aggodalmaimat vele kapcsolatban. Előző órán (amin csak Dávid volt, én nem) valszám és bonyolultság-elmélet volt. Ma Monte Carlo szimulációk és Markov lánc alapú Monte Carlo.
Továbbra is fenntartom hogy ez a vegyesfelvágott sehova sem vezet. Eddig nem tudtunk meg sokat, eltekintve maguknak a fogalmaknak az ismeretétől (ami nekem speciel megvolt).

Itt jegyezném meg, hogy a mérték és mérték szerinti integrál fogalmát bevezetni (tapasztalataim szerint) elég megosztó a hallgatóság számára. Ha valaki nem ismeri, akkor nem egy óra alatt fogja megérteni, aki meg tudja, annak meg nem kell magyarázni. Szóval egy bölcsességet megosztok veletek egy életre:

Ne próbáld meg leadni egy óra alatt a mérték (és a mérték szerinti integrál) fogalmát!

Ha esetleg nagyon szükségét érzed, akkor valamit rosszul csinálsz.

Ebéd időben kiugrottunk kávézni, mert a háromértékű logika előtt kellett egy kis energia. Nagyon jó (és nem is drága) kávét találtunk, bár ez nem a mi érdemünk, mert valószínűleg mindenhol ilyen a kávé. Az egyik pincér magyar volt, eddig ez az első magyar szó, amit a sajátunkon kívül hallottunk.

A másik szünetben elmentünk megnézni egy kastélyt, de fel kellett volna gyalogolni, amit András nem vállalt. De kastélyból van itt dögivel.

A DSALT-on ma este is az a trend mutatkozott meg, hogy kevés a data-driven kutatás. Az előadásokat azzal tudtam le, hogy egy  szép-szép az elmélet, de nincs eredmény. De persze ehhez az is hozzátartozik, hogy mindenki a saját kedvenc témáját szereti hallatni és hallgatni (én is az enyémet).

Kedd

A hétfői órarendet kicsit módosítottam egy jobb jövő reményében. Először is elküldtem Dávidot a Model Counting órára, hátha őt jobban értékeli. Én a Sentence Comprehension órára mentem, ami a mondatok kognitív megértésével foglalkozott. Nem egészen figyeltem, mert a CogSci nem a kenyerem, de Lisp interpreter-t kellett telepíteni a hands-on practice-hoz.

Aztán Distributional Semantics bevezető helyett a Trivalent Logic-ot választottam. Ez sokkal jobban bejött, szerintem érdekes elméletileg és nagyon is a valóság motiválja, nem a kitalált példák. Ugyanakkor csak kitalált példákkal dolgozott.

Ebédidőben elmentünk megnézni egy közeli kastélyt, nagyon kellemes a város építészete, az általános hangulata.

Később a DSALT-on soros előadást Katrin Erk tartotta, ami nagyon nem tetszett. Kigondolt valamit, amit nagyon megpróbált kiszámítani, de csak nagyon baby adaton ért el valamit.

Este volt a poster szekciónk. Némi kellemetlenség árán tudtuk felerősíteni a posztert az állványra, de aztán belemelegedtünk. Az állványok design-osabbak voltak, mint praktikusak. Elmondható, hogy Jurafsky és Baroni is odajött kérdezni.

Ez után még volt egy esti óra, amit Larry Moss tartott, aki nagyöreg a szakmában. Mérséklet lelkesedéssel fogadtam, lényegében előadta bizonyos (elsőrendűnél egyszerűbb) logikák bizonyítógépeit, amit egy természetes-nyelv-szerű formalizmusba csavarva tálalt. Volt egy érdekes gondolat benne, hogy az olyan kapcsolatokat mint move-dance-waltz vagy plant-fruit-orange monoton függvényekkel ír le (amiket fel kéne venni a lexicon-ba) és így tud velük valamiféle összehasonlításokat és számításokat végezni. Igazándiból a konklúzió az volt, hogy ha ezt rendesen megcsinálná valaki, akkor lehetne inference-t csinálni.

Ezután egy pizzával és egy pohár borral tettük fel a pontot az ι-re.