Perplexity, kompanija koja opisuje svoj proizvod kao “besplatni AI pretraživač,” našla se pod paljbom poslednjih dana. Nedugo nakon što je Forbes optužio Perplexity za krađu i ponovnu objavu svoje priče na više platformi, Wired je izvestio da Perplexity ignoriše Robots Exclusion Protocol, ili robots.txt, i pretražuje njegov vebsajt i druge publikacije Condé Nast-a. Tehnološki vebsajt The Shortcut takođe je optužio kompaniju za pretraživanje svojih članaka. Sada, Reuters izveštava da Perplexity nije jedina AI kompanija koja zaobilazi robots.txt datoteke i pretražuje vebsajtove kako bi dobila sadržaj koji se zatim koristi za obuku njihovih tehnologija.
Kršenje robots.txt protokola od strane više AI kompanija
Reuters navodi da je video pismo upućeno izdavačima od strane TollBit-a, startupa koji ih povezuje sa AI firmama kako bi postigli ugovore o licenciranju, upozoravajući ih da “AI agenti iz više izvora (ne samo jedne kompanije) odlučuju da zaobiđu robots.txt protokol kako bi preuzeli sadržaj sa sajtova.” Robots.txt datoteka sadrži uputstva za veb pretraživače o tome koje stranice mogu, a koje ne mogu pristupiti. Veb developeri koriste ovaj protokol od 1994. godine, ali je poštovanje potpuno dobrovoljno.
TollBit u pismu nije imenovao nijednu kompaniju, ali Business Insider navodi da je saznao da OpenAI i Anthropic — tvorci ChatGPT i Claude chatbota — takođe zaobilaze robots.txt signale. Obe kompanije su ranije tvrdile da poštuju “do not crawl” uputstva koja vebsajtovi postavljaju u svojim robots.txt datotekama.
Izvor: Engadget
