OpenAI stänger ner konton kopplade till misstänkt kinesiskt övervakningsverktyg

OpenAI har förbjudit flera konton som påstås ha använt ChatGPT för att bygga ett övervakningsverktyg för sociala medier som är avsett att rapportera protester mot Kina i USA och andra västländer. Företaget hävdar att nätverket sannolikt var kopplat till Kina.

OpenAI skärper sitt grepp om AI-missbruk och stänger av flera konton som enligt uppgift använde ChatGPT för att driva ett övervakningsverktyg för sociala medier. Enligt en rapport från OpenAI ska kontona ha varit knutna till en kinesiskt stödd operation som syftade till att samla in realtidsdata om protester mot Kina i USA, Storbritannien och andra västländer.

Den så kallade "Qianyue Overseas Public Opinion AI Assistant" beskrevs i marknadsföringsmaterial som programvara utformad för att spåra och rapportera onlinediskussioner om människorättsprotester direkt till kinesiska myndigheter, underrättelsetjänster och ambassader. OpenAI kunde inte självständigt verifiera verktygets existens men hade tillgång till reklammaterial som beskrev dess kapacitet - främst att skanna plattformar som X, Facebook och Instagram efter relevanta konversationer.

Ben Nimmo, en ledande utredare på OpenAI, kallade fallet ett oroande exempel på en "auktoritär regim som försöker utnyttja USA-baserad AI för antidemokratiska syften". Resultaten kommer när spänningarna växer över Kinas användning av västerländsk teknik, med OpenAI som aktivt varnar amerikanska beslutsfattare om de nationella säkerhetsriskerna med kinesisk AI.

De förbjudna kontona hänvisade också till att använda andra AI-modeller, inklusive Metas öppna källkod Llama. Meta erkände möjligheten men påpekade att dåliga aktörer har tillgång till massor av AI-verktyg, inklusive de som utvecklats i Kina.

Det här är inte första gången OpenAI vidtar åtgärder mot tvivelaktig aktivitet. Företaget har också förbjudit konton kopplade till iranska påverkansoperationer, nordkoreanska relaterade anställningsbedrägerier och ett annat Kina-anslutet nätverk som genererar spanskspråkigt innehåll som är kritiskt mot den amerikanska regeringen.

Med ökningen av kinesiska AI-startups som DeepSeek överväger OpenAI att öppna upp några av sina egna modeller för att konkurrera. Samtidigt brottas amerikanska beslutsfattare med frågan om hur man ska balansera AI-innovation med nationella säkerhetsfrågor.