About
Edge0 إطار مفتوح المصدر (Apache-2.0) لتشغيل نماذج Mixture-of-Experts عبر البث. يحمّل أوزان الـ experts من SSD عند الحاجة، فتتحدد ذروة الذاكرة بالـ experts النشطة لا بعدد المعاملات. فيه prerouter مدرّب يتنبأ بالتوجيه خطوة مسبقاً حتى يتداخل التحميل مع الحساب، ومحوّلات Recover-LoRA تستعيد معظم جودة الضغط إلى 4-bit. يوفّر نموذجين: edge0-35b وedge0-8b، وخادماً متوافقاً مع OpenAI. إطار Python يعمل حالياً على macOS بمعالجات Apple Silicon، ومحرّكات macOS وiOS وAndroid وWindows مفتوحة المصدر في الريبو نفسه.
How to use it
ثبّت الحزمة داخل مجلد `python` في بيئة Python 3.12 على Mac بمعالج Apple Silicon عبر `pip install -e '.[dev,fetch]'`.
نزّل أحد النموذجين Edge0-35B-A3B-preview أو Edge0-8B-A1B-preview من Hugging Face عبر `scripts/fetch_models.py`.
وجّه edge0 إلى مجلد النموذج عبر المتغير `EDGE0_35B_MODEL` أو بتمرير المسار مباشرة.
جرّب النموذج عبر `edge0 demo edge0-35b`.
شغّل خادماً متوافقاً مع OpenAI عبر `edge0 serve edge0-35b`.
Maker
Comments (0)
No comments yet — be the first to share your thoughts.
More in LLMs
DeepSeekيتيح المحادثة المجانية مع نماذج R1 وV3 مفتوحة الأوزان، ودمجها في التطبيقات عبر API.
Ollamaيشغّل النماذج المفتوحة محليًا على جهازك بأمر واحد، مع API محلي لربطها بالتطبيقات.
HUMAIN Chatتطبيق محادثة عربي مبني على نموذج ALLaM؛ يفهم اللهجات من الخليج إلى المغرب، ويدعم الكتابة والصوت والبحث في الويب.