სუბკვადრატული სტარტაპი აცხადებს LLM-ების მათემატიკური ბოთლნეკის გარღვევას

ტექნოლოგიური გარღვევა

სტარტაპმა Subquadratic გასულ თვეს გამოვიდა სტელს-რეჟიმიდან რადიკალური განაცხადით: კომპანიამ მოახდინა დიდი ენობრივი მოდელების (LLM) ფუნდამენტური მათემატიკური შეფერხების აღმოფხვრა. პრობლემა, რომელიც სახელწოდებით ცნობილია როგორც კვადრატული სირთულის ბოთლნეკი, განაპირობებს Transformer-არქიტექტურის Self-Attention მექანიზმის O(n²) გამოთვლით სიმძიმეს — რაც ნიშნავს, რომ კონტექსტის სიგრძის გაზრდასთან ერთად გამოთვლითი ხარჯები კვადრატულად იზრდება. ეს გარღვევა, თუ დადასტურდება, პირდაპირ კონკურენციაში მოდის SSM/Mamba-კლასის არქიტექტურების ძირითად უპირატესობასთან — Linear Attention-ის ალტერნატიულ მიდგომებთან.

არქიტექტურა და ბენჩმარკები

Subquadratic-ის მიდგომა სავარაუდოდ ეფუძნება Attention-ის გამოთვლითი სქემის ოპტიმიზაციას, რომელიც ამცირებს სირთულეს O(n²)-დან O(n log n) ან O(n)-მდე გრძელი კონტექსტური ფანჯრებისთვის. ამგვარი ოპტიმიზაცია კრიტიკულია 128K–1M ტოკენიანი კონტექსტური ფანჯრების მქონე მოდელებისთვის, სადაც სტანდარტული Full Attention გამოთვლა NVIDIA H100/H200 კლასის GPU-ებზეც კი ქმნის მეხსიერებისა და სიჩქარის მწვავე შეზღუდვებს. კომპანიამ ჯერ არ გაასაჯაროო გადამოწმებული ბენჩმარკები MMLU-Pro, HumanEval ან SWE-bench პლატფორმებზე, რაც ტექნიკური საზოგადოების მხრიდან სკეპტიციზმს იწვევს.

ინდუსტრიული და პრაქტიკული გავლენა

თუ Subquadratic-ის მტკიცება დამოუკიდებელი გადამოწმებით დადასტურდება, შედეგები ინდუსტრიისთვის მნიშვნელოვანი იქნება: ხელმისაწვდომი კვადრატული Attention-ის ჩანაცვლება შეამცირებს inference-ის გამოთვლით ხარჯს და გახსნის გრძელი კონტექსტის ეფექტური დამუშავების გზას Transformer-ბაზის მოდელებში — OpenAI GPT-კლასის, Anthropic Claude-კლასის და Google Gemini-ს ალტერნატიული ხარჯთეფექტური scaling-ის გარეშე. ამ ეტაპზე განაცხადი peer-reviewed პუბლიკაციით ან გარე ლაბორატორიული ვალიდაციით დაუდასტურებელია, რაც AI არქიტექტორებს ავალდებულებს სიფრთხილით მოეკიდონ კომერციული ინტეგრაციის გადაწყვეტილებებს.

წყაროების ავტორიტეტი: MIT Technology Review

ფოტო: Charles Puaud / Unsplash