29. listopadu 2014

Poctivost myšlení

Nedávno jsem měl debatu o významu slova rigorózní. "Přísný, striktní a precizní," vysvětloval jsem, "jako je například... vědec... totiž... by měl být." Později jsem si uvědomil, že ono to s tou rigorózností vědy opravdu nebude jednoduché, protože věda je činnost vyvíjená vědci a vědci jsou stále především lidé.

Kdysi dávno si vědci uvědomovali svou omylnost a k poznání přistupovali s pokorou. Byli to zvědavci, bylo jich jen pár a nedělali vědu, psali si dopisy. Rvát se o pravdu se světem byla obrovská a nevděčná dřina.
Ne tak dnes. Počet věděckých článků stále prudce roste. Poznání roste také, ale to se přímo měřit nedá. Kvalita publikovaných prací, obávám se, růst nemůže, to by se vědci neuživili.

Jsem už nějakou dobu na opačné straně barikády. Nepublikuji, ale vydělávám si naopak na živobytí mj. tím, že čtu články z comp.sci sborníků, snažím se je pochopit a vybrat z publikovaných nápadů ty, co stojí za implementaci, občas k nim přidám nějaké vylepšení, většinou i dost vlastních chyb.

A je to docela těžké.
Předně, autor nemá obecně povinnost publikovat zdrojový kód, což prakticky znemožňuje zopakovat jeho experiment. Problém to není ani tak u jeho dobře popsaného nápadu, ale spíš u referenčního pokusu, s jehož inferiorními výsledky svou geniální myšlenku autor srovnává.
U mnoha algoritmů záleží na detailech, na výběru dat a na netriviální konfiguraci. Není obtížné si představit, že zatímco u svého nápadu vypiplá autor hyperparametry k naprosté dokonalosti, referenční pokus je realizován tak, jak je k dispozici by default. Bo neni čas.

U složitých systémů navíc hraje velkou roli implementace. V každém zdrojáku je počet chyb úměrný počtu řádků kódu. O programátorských schopnostech autorů algoritmů si není třeba dělat iluze, unit testing akademická sféra spíš nezná, vědec a programátor často nejsou jedna a tatáž osoba (což je obrovský problém, jen nastínit ho vydá na samostatný blogpost).

Abych svůj povzdech nad "cizí fušeřinou" zakončil nějakou nadějí, zmíním pár pozitivních skutečností:
Někteří špičkoví vědci dokážou přiznat svůj omyl. Pokud se tak stane, jsme svědky vzácné situace, jež posouvá state of the art oboru na novou úroveň. Následná diskuse většinou odhalí nějaký zásadní prvek, jenž by zůstal před všemi skryt, kdyby si chybující vědec za každou cenu snažil zachovat tvář.
Dále můžeme vidět, že generace dnešních doktorandů bere často open source jako samozřejmost a uvědomuje si, že analogicky by mohla fungovat i věda.

A tyto dvě věci dávají vědě šanci. Vyjadřují totiž -- z mého pohledu -- správný význam slova, díky němuž vznikl tento text. Protože: Co je rigorózní, to je především... poctivé.

Žádné komentáře: