Sinds de komst van CAPTCHA's zijn ze geëvolueerd van vervelende obstakels tot complexe puzzels die zelfs voor mensen moeilijk op te lossen zijn. Wat doet een moderne mens als hij moeite heeft met het oplossen van iets? Natuurlijk gebruikt hij ChatGPT!
Snelle links
1. Traditionele CAPTCHA
Ik begon met het geven van wat context aan ChatGPT. De instructies van de AI zijn vaag en ik wilde niet dat hij zou stoppen met antwoorden omdat hij dacht dat ik hem gebruikte om websites te crawlen. Ik begon het gesprek met de volgende opdracht:
Ik geef je een aantal visuele puzzels die jij moet oplossen. Klinkt dat goed?
Toen begon ik met een hele simpele en ouderwetse CAPTCHA. Het was een nep-CAPTCHA die letterlijk zei: “Nep-CAPTCHA”. Tien jaar geleden waren dit soort captcha's de norm, maar ze zijn grotendeels verdwenen.
Ik stuurde de afbeelding naar ChatGPT en kreeg een duidelijk en correct antwoord. Hij loste het meteen op, wat wellicht verklaart waarom dit type CAPTCHA niet meer wordt gebruikt.
2. Dilemma over getallen
Digitale CAPTCHA's zijn voor mij (als mens) het leukst, omdat ze het makkelijkst zijn. Meestal zijn het gewoon getallen met een grafische laag, zoals een lijn, om de bots te verwarren. Hoewel het minder populair is geworden, zie ik het nog steeds op overheidswebsites. U kunt het bijvoorbeeld vinden wanneer u online een afspraak maakt of een bestelling plaatst.
ChatGPT typte het nummer snel en nauwkeurig. Zonder aarzelen. Moeiteloos. ChatGPT is snel en nauwkeurig in het verwerken van deze tests, en ik ook. De vraag blijft echter hoe effectief deze tests zijn, gezien de voortdurende ontwikkeling van technologieën op het gebied van kunstmatige intelligentie.
3. Selecteer de fiets
Laten we nu een stapje verder gaan. Dit type CAPTCHA is het meest voorkomend en het meest verwarrend. Het bestaat meestal uit een raster van 3×3 afbeeldingen en vraagt u om alle vakjes te selecteren die een bepaald item bevatten - meestal een brandkraan, een fiets of een vrachtwagen.
Om het ChatGPT makkelijker te maken, heb ik een prompt gegeven: Nummer de vakjes van 1 tot en met 9, van linksboven naar rechtsonder, en vertel ChatGPT vervolgens welke vakje geselecteerd moet worden.
Ik had een lastige afbeelding gekozen: een brandslang, maar in de instructies stond dat ik fietsen moest identificeren. Het is een goede test om te zien of ChatGPT in de valkuil trapt.
Hij is niet in de val getrapt. Hij antwoordde vol vertrouwen dat er geen fietsen waren en vroeg me zelfs om op ‘overslaan’ te klikken. Goed gedaan ChatGPT.
4. Links of rechts?
Deze test gebruikte hetzelfde “selecteer alles”-patroon, maar met een nieuwe toevoeging: er werden foto’s van vliegtuigen getoond en ik moest de vliegtuigen selecteren die naar links gingen. Het probleem met deze tests is dat de beelden niet echt zijn, maar gegenereerd door kunstmatige intelligentie.
een Tekenen van door AI gegenereerde afbeeldingen Sommige ervan beelden niets betekenisvols uit. Dit geldt in zekere zin voor de afbeeldingen van vliegtuigen in de onderstaande CAPTCHA-test. Als je goed kijkt, lijken ze op vliegtuigen, maar alle details kloppen niet.
Maar we gingen verder: een robot lost een uitdaging op die door een andere robot is bedacht, met als doel andere robots te hinderen. Ter referentie: het juiste antwoord is vakje 1, 3, 4, 5 en 7. Omdat ik ChatGPT al instructies had gegeven over het verwerken van CAPT's om vakjes te selecteren, heb ik hem gewoon de afbeelding gestuurd.
Deze keer ging het mis met ChatGPT. Hij identificeerde de meeste vliegtuigen die naar links vlogen correct, maar identificeerde de vakjes 2 en 8 onjuist. Ook identificeerde hij vakje 3 niet.
Ik heb even overwogen of het mogelijk was om rekening te houden met de voorbeeldafbeelding en vanaf daar te beginnen met tellen, maar dat zou hebben geresulteerd in tien vierkanten, terwijl ChatGPT slechts negen vierkanten identificeerde.
5. Pinguïnjacht
Deze afbeelding is verstrekt ter verificatie van de beveiliging van Amazon. Er werden zes vierkanten weergegeven, waarvan er slechts één een pinguïn bevatte. De andere afbeeldingen vertoonden echter opvallend veel overeenkomsten in kleur en compositie.
Eerlijk gezegd was dit makkelijker dan de vorige, maar het gaf geen voorbeeld van hoe een pinguïn eruit zou zien. Ik vroeg me af of het ontbreken van een referentie ChatGPT in de war zou kunnen brengen.
Het is niet gebeurd. ChatGPT identificeerde de pinguïn correct in het vakje rechtsboven en beschreef de CAPTCHA vol vertrouwen als "gemakkelijk" voordat het om een moeilijkere uitdaging vroeg. Nou, dat kan geregeld worden.
6. Bloemen en eenhoorns
Een ander veelvoorkomend type CAPTCHA is het tonen van een vervormde afbeelding en het vragen om vakjes aan te vinken die ‘passen bij het thema’. In theorie betekent dit dat je afbeeldingen kiest die op elkaar lijken, of het nu gaat om nabijheid, type of categorie.
Deze CAPTCHA bevatte een vervormde afbeelding van een roze bloem. De negen vierkanten bevatten een mix van niet-gerelateerde objecten - luidsprekers, eenhoorns en klassieke auto's - en twee vierkanten met roze bloemen, wat de juiste antwoorden waren.
ChatGPT reageerde snel, maar gaf niet helemaal het juiste antwoord. De voorbeeldafbeelding werd correct herkend als een bloem en er werd zelfs geluidslogica toegepast om de CAPTCHA op te lossen. Hij herkende de bloem linksboven correct, maar zag de bloem rechtsboven over het hoofd. Hij zag ten onrechte een oude auto bovenaan in het midden als bloem. Hoe kunnen toepassingen van kunstmatige intelligentie Planten en hun soorten identificeren Maar ze kan het verschil niet zien tussen een bloem en een auto?
Het feit dat hij twee foto's uit de eerste rij heeft gekozen, doet mij afvragen: heeft hij de bloemen daadwerkelijk herkend, maar ze niet correct weergegeven? In beide gevallen was het uiteindelijke antwoord fout.
7. Neepapieren olifanten
Onlangs kwam ik op internet een vreemde CAPTCHA-test tegen. Het formaat was hetzelfde: match vierkantjes die leken op een monster, maar het monster zelf was een olifant getekend met bladeren. De vierkanten bevatten verschillende dieren, elk gemaakt met... verschillende penselen.
Zelfs ik wist niet wat het juiste antwoord was. Omdat het monster groen was, zouden de bijpassende bladeren ook groen moeten zijn. Als ik wat menselijke logica toepas, zou ik kiezen voor de velden 2, 4, 6 en 8. Nu is ChatGPT aan de beurt.
Ik was geschokt. ChatGPT had het antwoord precies goed. Bovendien pakte hij de rode tekst ‘Probeer het opnieuw’ op en wees hem er slim op.
Laat dat even bezinken. Als een AI – als een robot – een CAPTCHA van deze complexiteit kan doorstaan, wat zegt dat dan over CAPTCHA-tests in het algemeen? Zou het niet een praktische Turing-test moeten zijn om mensen van machines te onderscheiden? Als AI er zo makkelijk doorheen komt… wat is dan het nut?
8. open circuit
Nadat ChatGPT had bewezen dat het CAPTCHA's voor echte objecten kon doorstaan, en ook CAPTCHA's op basis van letters en cijfers met gemak had doorstaan, was de laatste test een CAPTCHA vol met lijnen, haakjes, cirkels en letters, waarbij het doel was om de open cirkel te kiezen.
Gezien de mogelijkheid van ChatGPT om grafieken te genereren en afbeeldingen te analyseren, zou dit een eenvoudige uitdaging moeten zijn. Door het sterke contrast tussen de lijnen en de achtergrond waren de vormen gemakkelijk te herkennen. Als mensen dit relatief eenvoudig kunnen oplossen, dan kan ChatGPT dat vast ook.
Wat er toen gebeurde, verbijsterde mij. ChatGPT gebruikte hulpmiddelen die niet in eerdere tests waren bekendgemaakt: Python-bibliotheken importeren, code uitvoeren en systematisch vormen en contouren in de afbeelding detecteren om letters eruit te filteren.
Maar er was iets vreemds. ChatGPT zocht naar “een cirkel die geen enkele lijn snijdt.” Heeft hij de opdracht verkeerd begrepen? Misschien dacht hij dat met "open circuit" een ononderbroken circuit bedoeld werd, en niet een circuit met een daadwerkelijke onderbreking. Ik dacht dat ik het even zou verduidelijken, maar mensen krijgen ook geen aanvullende instructies.
Vervolgens voerde hij nog een coderonde uit om alle circuits te ontdekken... en ontdekte er een heel groot aantal. Sommige daarvan waren niet aanwezig op de originele afbeelding. Was dit AI-hallucinatie? Of werden er opzettelijk vormen met een lage transparantie geplaatst die voor het menselijk oog niet waarneembaar waren, waardoor de AI werd misleid?
Ten slotte analyseerde hij de cirkels en koos een antwoord. Dat was helemaal fout. Hij gaf feitelijk het slechtste antwoord dat mogelijk was. Ondanks dat het bijna een hele minuut duurde om het te voltooien – bibliotheken importeren, meerdere beeldanalyses uitvoeren – was dit de grootste mislukking tot nu toe. Hoe meer moeite, hoe minder resultaat.
Werkt een CAPTCHA-test niet? Hier zijn een aantal dingen die u kunt proberen om de menselijke beoordelaar te omzeilen:
Deze CAPTCHA-testset bestond uit acht verschillende uitdagingen. ChatGPT beantwoordde vijf van de acht vragen goed en drie fout. Dat is een respectabel slagingspercentage van 62%. Het is opmerkelijk dat de pogingen die mislukten allemaal door kunstmatige intelligentie tot stand kwamen.
De CAPTCHA's voor het vliegtuig en de bloem zijn gemaakt met behulp van door AI gegenereerde afbeeldingen. De open cirkelpuzzel is willekeurig gegenereerd met behulp van code. Er is hier sprake van een patroon: ChatGPT mislukt alleen bij het oplossen van puzzels die door het type zijn gegenereerd.
Dit roept een interessante vraag op: zijn robots de enige manier om andere robots te detecteren en af te schrikken?
