Googleov SMITH algoritam nadmašuje BERT

Google je nedavno objavio istraživački rad o novom algoritmu nazvanom SMITH za koji tvrdi da je bolji od BERT-a za razumijevanje dugih upita i dugih dokumenata. Konkretno, ono što ovaj novi model čini boljim jest to što je sposoban razumjeti odlomke unutar dokumenata na isti način na koji BERT razumije riječi i rečenice, što algoritmu omogućuje razumijevanje dužih dokumenata.

Što je SMITH algoritam?

SMITH je novi model za pokušaj razumijevanja cjelokupnih dokumenata. Modeli poput BERT-a osposobljeni su za razumijevanje riječi u kontekstu rečenica.

U vrlo pojednostavljenom opisu, model SMITH osposobljen je za razumijevanje odlomaka u kontekstu cijelog dokumenta.

Iako su algoritmi poput BERT-a obučeni na skupovima podataka za predviđanje nasumično skrivenih riječi iz konteksta unutar rečenica, SMITH-ov algoritam osposobljen je za predviđanje sljedećeg bloka rečenica.

Ova vrsta treninga pomaže algoritmu da bolje razumije veće dokumente od BERT algoritma, prema istraživačima.