چیپ جدید مخصوص استنتاج مدل‌های زبانی روی دستگاه معرفی شد

تراشهٔ تازه‌ای معرفی شده که برای اجرای مدل‌های زبانی روی خود دستگاه طراحی شده است. ادعای سازنده این است که مدل‌های تا هفت میلیارد پارامتر را با مصرف کمتر از پنج وات اجرا می‌کند.

چرا اجرای روی دستگاه مهم است

وقتی مدل روی خود گوشی یا لپ‌تاپ اجرا شود، داده از دستگاه خارج نمی‌شود. این هم مسئلهٔ حریم خصوصی را حل می‌کند و هم تأخیر شبکه را از بین می‌برد.

مسئلهٔ دوم هزینه است: اجرای ابری هر درخواست هزینه دارد، اجرای محلی ندارد.

محدودیت‌ها

مدل‌های هفت میلیارد پارامتری هنوز فاصلهٔ محسوسی با مدل‌های بزرگ ابری دارند، به‌ویژه در استدلال چندمرحله‌ای. کاربرد فعلی بیشتر خلاصه‌سازی، بازنویسی و دستیار صوتی است.