Coinbase testar tokensäkerhet med ChatGPT
- Kryptoutbyte Coinbase använde nyligen AI-chattboten ChatGPT för att utföra token-säkerhetstester på 20 smarta kontrakt för att fastställa deras noggrannhet.
- Av 20 gav ChatGPT 12 gånger samma resultat som en manuell granskning, med den lovande hastigheten att genomföra en smart kontraktsanalys.
- Av de 8 missarna var 5 av dem fall där ChatGPT felaktigt märkte en högrisktillgång som låg risk.
- Exchange sa att ChatGPT kan vara inkonsekvent, dvs när samma fråga ställs flera gånger, ges olika svar av AI-chatboten.
ChatGPT, en artificiell intelligens (AI) chatbot som utvecklats av OpenAI och lanserades i november 2022, har blivit mycket populär eftersom människor kommer på olika sätt att använda plattformen för att göra sina uppgifter enklare. Intressant nog tror många AI-entusiaster att ChatGPT kan ersätta manuellt arbete, men den största kryptobörsen i USA, Myntbas, visade nyligen att så inte är fallet genom att testa tokensäkerhet med chatboten och avslöja resultaten för allmänheten.
Enligt a blogginlägg från kryptobörsen den 20 mars använde Coinbase ChatGPT för att utföra automatiserade tokengranskningar via sitt ERC20-tokengranskningsramverk och jämförde resultaten med standardtokensäkerhetsgranskningar. Resultatet var tydligt: ChatGPT uppfyllde inte de noggrannhetsstandarder som fastställts av företaget för att låta chatboten integreras i börsens säkerhetsarsenal.
Genom att jämföra ChatGPT och manuella säkerhetsgranskningar sida vid sida, bekräftade Coinbase att de manuella säkerhetsgranskningarna är mer exakta. Börsen jämförde säkerhetsgranskningarna av 20 smarta kontrakt, och det är viktigt att notera att ChatGPT gav samma resultat 12 gånger som den manuella granskningen.
Men av de 8 missarna var 5 fall där ChatGPT felaktigt märkte en högrisktillgång som lågrisk. Börsen noterade att detta var ett allvarligt misslyckande eftersom "att underskatta ett riskpoäng är mycket mer skadligt än att överskatta."
Coinbase noterade att ChatGPT visar en lovande hastighet av smart kontraktsanalys jämfört med manuell granskning, vilket tar mer tid. Den uppfyller dock inte noggrannhetsstandarderna för en manuell granskning.
"Även om effektiviteten i en ChatGPT-granskning är anmärkningsvärd, finns det fortfarande vissa begränsningar som försämrar verktygets noggrannhet. I första hand kan ChatGPT inte känna igen när det saknar sammanhang för att utföra en robust säkerhetsanalys. Detta resulterar i täckningsluckor där ytterligare beroenden inte granskas, säger Coinbase.
Coinbase tillade också att ChatGPT kan vara inkonsekvent, dvs när samma fråga ställs flera gånger, ges olika svar av AI-chatboten. Utbytet tillade att ChatGPT också "påverkas av kommentarer i koden och verkade ibland som standard till kommentarer snarare än funktionslogik."
"Vi förutser att vi med ytterligare snabb konstruktion kan öka noggrannheten hos verktyget. Däremot kan man inte lita på verktyget enbart för att utföra en säkerhetsgranskning,” Tom Ryan, Blockchain Security Engineer på kryptobörsen.
Enligt kryptobörsen skulle beroende på ChatGPT för säkerhetsgranskningar vara ett kostsamt felsteg, men man kan öka noggrannheten genom att använda AI-chatbot i kombination med manuell granskning för att fånga upp eventuella risker som kan ha förbisetts.
Som rapporterats tidigare av BitcoinWisdom bekräftade Coinbase att den hade en exponering på runt $240 miljoner till Signature Bank, en New York-baserad bankinstitution som stängdes av New York Department of Financial Services (NYDFS) tidigare denna månad. Federal Deposit Insurance Corporation (FDIC) etablerades som mottagare av banken.
Å andra sidan kryptobörsen planerar också att expandera utanför USA, vilket kan ses som ett försök att konkurrera med Binance, världens största kryptobörs efter handelsvolym. En talesperson för Coinbase skrev i ett e-postmeddelande att företagets internationella expansionssatsning kommer att "fokusera på regulatoriska jurisdiktioner med höga krav", samtidigt som han tillade att börsen förblir "fokuserad på att erbjuda våra produkter på ett säkert, kompatibelt sätt, med sund riskhantering i kärnan. .”