Naukowcy Apple i Ohio State University przedstawili nowy model językowy FS-DFM (Few-Step Discrete Flow-Matching), zdolny do generowania pełnych fragmentów tekstu w zaledwie 8 szybkich krokach, osiągając jakość porównywalną z tradycyjnymi modelami dyfuzyjnymi wymagającymi ponad tysiąca iteracji.
Kluczowe różnice:
- Autoregresywne modele LLM (np. ChatGPT) generują tekst sekwencyjnie, token po tokenie.
- Modele dyfuzyjne wytwarzają wiele tokenów jednocześnie, udoskonalając je w wielu krokach.
- Flow-matching pozwala uzyskać końcowy wynik w jednym przebiegu, pomijając wieloetapowe iteracje.
FS-DFM korzysta z trzystopniowej metody: dostosowuje się do różnych liczby iteracji, wspiera go model „nauczycielski” dla większej precyzji oraz optymalizuje każdy krok, aby przyspieszyć generowanie tekstu.
W testach model osiągnął niższą perplexity (dokładniejszy, naturalniejszy tekst) i stabilniejszą entropię (bardziej spójny dobór słów) w porównaniu z większymi modelami dyfuzyjnymi, choćby przy mniejszej liczbie parametrów (1,7 – 0,17 mld).
Apple planuje udostępnić kod i checkpointy FS-DFM, aby umożliwić dalsze badania i reprodukcję wyników.
Jeśli artykuł Apple opracowuje model językowy, który generuje długie teksty choćby 128 razy szybciej nie wygląda prawidłowo w Twoim czytniku RSS, to zobacz go na iMagazine.
