🔥 اجرای مدل 70B با فقط یک GPU چهار گیگابایتی! 🤯پروژه AirLLM ادعا میکند که میتواند مدلهای 70B ر…
انتشار: 2026/08/07 14:51 UTCدریافت: 2026/08/14 12:17 UTCآخرین مشاهده: 2026/08/14 12:17 UTC
🔥 اجرای مدل 70B با فقط یک GPU چهار گیگابایتی! 🤯پروژه AirLLM ادعا میکند که میتواند مدلهای 70B را تنها با یک کارت گرافیک 4GB VRAM اجرا کند!این پروژه متنباز با استفاده از Layer Streaming، بهجای اینکه کل مدل را داخل VRAM بارگذاری کند، لایهها را هنگام اجرا از حافظه بارگذاری میکند. به همین دلیل مصرف VRAM بهشدت کاهش پیدا میکند.✅ اجرای مدلهای بسیار بزرگ با VRAM بسیار کم✅ بدون Quantization یا کاهش کیفیت مدل✅ پشتیبانی از Llama، Qwen، DeepSeek، Mixtral، Phi و سایر مدلهای Hugging Face✅ کاملاً متنباز و رایگان⚠️ البته این کار با کاهش سرعت اجرا همراه است، اما اگر سختافزار قدرتمندی نداری، میتواند گزینه بسیار جالبی باشد.🔗 GitHub:https://github.com/lyogavin/airllm@negar
