Beelden vinden zonder 1000 woorden
Automatisch herkennen wat op een foto of video is afgebeeld, zonder daar begeleidende tekst voor nodig te hebben, was lang een heilige graal voor onderzoek aan information retrieval. En zoals een graal betaamt, lag die ver weg aan de horizon. Maar die situatie is intussen sterk veranderd.
Google zegt zinnetjes te kunnen genereren die beschrijven wat op een foto te zien is.
Flickr voegt al enige tijd zelf tags toe aan geüploade foto’s.
Semantische zoekmachine Wolfram-Alpha heeft een testsysteem dat herkent wat het hoofdonderwerp van geüploade foto’s is.
Facebook heeft recent aangekondigd te kunnen herkennen wat op de miljarden foto’s staat, die we daar gezamenlijk hebben neergezet. (Zie o.a. HIER en HIER).
En onlangs waren er berichten dat Samsung in een nieuwe digitale assistent (Bixby) automatische herkenning van je eigen mobiel gemaakte foto’s inbouwt, zodat je die zelf makkelijker kunt terugvinden.
Zo zou ik nog wel even kunnen doorgaan. Deze hausse lijkt helemaal veroorzaakt door de snelle opmars van kunstmatige intelligentie, en met name van technieken voor machine learning, zoals diepe neurale netwerken – vandaar de ook wel gebruikte aanduiding “deep learning”.
De hier gegeven voorbeelden wekken wellicht de indruk dat het allemaal van de grote spelers in de VS moet komen. Maar dat is niet terecht. In Nederland speelt Cees Snoek al ruim 10 jaar een vooraanstaande rol op dit gebied. Ook toen dat nog geen hype-woord was, paste hij al methoden van machine learning toe en wonnen in zijn onderzoeksgroep ontwikkelde algoritmes prijzen op internationale toernooien voor beeldherkenning en beeldzoeken. Intussen geeft hij leiding aan het onderzoek bij QUVA Lab, een samenwerking tussen de UVA en de Amerikaanse chip-bouwer Qualcomm die beeldherkenning in mobieltjes wil inbouwen. Weinigen zullen dus beter in staat zijn om ons van de nieuwste ontwikkelingen op de hoogte te brengen en trend van hype te scheiden. De lezing van Cees zit op 9 maart in het middagprogramma.

Hoe zoekt Bellingcat?
Voor het burger-onderzoekscollectief Bellingcat vormt “informatie” de belangrijkste grondstof voor hun speurwerk. Toch bestaat het collectief niet primair uit informatiespecialisten, maar de leden zijn dat langzamerhand natuurlijk wel geworden. Dat was een goede reden om een Nederlandse deelnemer aan het collectief, Christiaan Triebert (@trbrtc), als spreker op de VOGIN-IP-lezing uit te nodigen. Dat Christiaan zich niet tot alleen desk-research beperkt, blijkt wel uit bijgaande foto.
In december heeft hij in het Koerdische deel van Irak lokale journalisten geschoold in het soort onderzoek met behulp van “open bronnen”, dat het handelsmerk van Bellingcat geworden is. Veilig in Amsterdam, zal hij 9 maart de bezoekers van de VOGIN-IP-lezing ook over die methoden vertellen. Vooraf stelde IP al wat vragen aan Christiaan. Lees hier vast de antwoorden die hij gaf. In het komende februarinummer van IP verschijnen die antwoorden ook in print.

9 maart klokslag half tien zal de VOGIN-IP-lezing zinderend van start gaan met de keynote van Herbert van de Sompel: “En toen was er niets meer”.
Herbert is een Gentenaar die nu al vele jaren in New Mexico werkt, bij het Los Alamos National Laboratory, een van de grootste onderzoekscentra in de VS. Hij heeft aan de wieg gestaan van een hele reeks van innovaties op ons terrein, zoals OpenURL link resolving (in SFX), de OAI-PMH en ORE-PMH protocollen, om metadata uit repositories te ‘harvesten’, en het Memento-protocol, om van intussen verdwenen of gewijzigde webpagina’s zo ongemerkt en automatisch mogelijk gearchiveerde oude versies te lokaliseren en op te vragen.
Dat laatste protocol poogt een probleem op te lossen dat Herbert de laatste jaren na aan het hart ligt: het feit dat zoveel links op internet, zelfs in en naar wetenschappelijke publicaties, vaak na korte tijd al niet meer correct werken. Óf de link werkt helemaal niet meer (link-rot), óf je komt op heel andere inhoud terecht, die intussen op dat oorspronkelijke webadres verschenen is (content-drift). Naar die twee vormen van reference-rot heeft hij, samen met collega’s, uitgebreid kwantitatief onderzoek gedaan. In [dit artikel] dat in december in PLOS|one is verschenen, rapporteren zij de uitkomsten van hun onderzoek. Hun conclusie is dat ruim 80% (!) van de 1.059.742 referenties die ze in hun onderzoek betrokken hadden, te lijden had van enige vorm van reference rot.
De voorgestelde Memento-oplossing werkt helaas alleen als webpagina’s ergens gearchiveerd zijn – en ook afzonderlijk de achtereenvolgende versies daarvan, als het pagina’s zijn die aan verandering onderhevig zijn. Dat “archiveren” kwam dan ook met uitroeptekens terug in het interview dat IP-redacteur Frank Huysmans begin 2016 met Herbert van de Sompel had. Dat interview uit IP 2016|03 is hier [PDF] nog een keer na te lezen.

Meer informatie over Herbert’s keynote lezing is [HIER] te vinden.

 
Hoe weet je of dit bericht geen fake is? En of die hele VOGIN-IP-lezing wellicht een hoax is? Waarschijnlijk omdat je ons vertrouwt. En waarschijnlijk omdat je digitaal geletterd bent. En belangrijker nog: die geletterdheid is waarschijnlijk ook niet alleen digitaal.
Maar kennelijk is dat niet voor iedereen zo makkelijk, als we de recente discussies over fake-nieuws volgen, die rond de Amerikaanse presidentsverkiezingen in een geweldige stroomversnelling zijn geraakt.De hoaxes en fake berichten die op Facebook (Fakebook?) gedeeld werden of in Google een hoge ranking kregen, hebben misschien wel bijgedragen aan de uiteindelijke verkiezingsuitslag. Het maken van dergelijke fake-berichten blijkt zelfs een heuse industrietak te zijn geworden.
Het zou daarom mooi zijn als betrouwbare informatie een stempeltje ”niet fake” zou kunnen krijgen. Zelfs Facebook en Google willen dat intussen wel. Maar het is een beetje te veel om dat allemaal door mensen te laten doen. Nu iedereen het over machine learning heeft, kunnen we een computer misschien wel leren dat voor ons te doen. Dat is nu precies waarmee Srijan Kumar bezig geweest is. Hij heeft onderzocht waaraan hoaxes die in de Wikipedia terecht gekomen zijn, herkend kunnen worden. Dat is nog niet het hele internet en heel wat minder dan alle nieuwtjes op Facebook, maar het is wel al een aardige stap in een mogelijke richting om automatisch onzin te laten herkennen.
We zijn dan ook blij dat Srijan ons op 9 maart daar het een en ander over komt vertellen in zijn lezing: “Disinformation on the Web: Impact, Characteristics, and Detection of Wikipedia Hoaxes”.
[Zie ook deze PDF.]

De afgelopen twee dagen werd een Hackaton gehouden om iets met Linked Open Erfgoeddata te doen. De voormalige gevangenis aan het Utrechtse Wolvenplein was het (open) toneel voor deze “Hack-a-LOD”. Voor minder hackvaardigen vond vanochtend, in diezelfde gevangenis, aansluitend ook nog een symposium plaats onder de titel ‘Een Web van Erfgoeddata’.

Daar hield ook Herbert van de Sompel een begeesterd verhaal [presentatie] over de ontwikkelingen die het linken naar vooral wetenschappelijk materiaal de afgelopen vijftien jaar had doorgemaakt. En dat in niet geringe mate dankzij de bijdragen die hij daar zelf, met zijn groep in Los Alamos, aan geleverd heeft. Denk maar aan het OAI-PMH protocol voor het harvesten van materiaal uit institutionele repositories. Denk aan ORE-PMH, om ook iets te kunnen doen met digitale objecten die uit meer losse onderdelen bestaan die soms zelfs over verschillende servers verspreid staan. En denk meer recent aan het Memento protocol dat zijn groep ontwikkeld heeft om moeiteloos en geheel transparant oude versies van webpagina’s uit webarchieven te kunnen ophalen, waarmee bijvoorbeeld link- of reference-rot kan worden tegengegaan.
In het interview met Herbert dat eerder dit jaar in aflevering 3 van IP stond, werd daar ook al uitgebreid op ingegaan.
Jammer dat je vanochtend zijn lezing hebt gemist?
Geen nood!
Herbert van de Sompel is ook keynote spreker op onze VOGIN-IP-lezing op 9 maart. Daar zal hij nog wat meer over dit soort onderwerpen kunnen uitwijden.