أجهزة الذكاء الاصطناعي
أجهزة وملحقات مزودة بالذكاء الاصطناعي
| الصورة | المنتج | السعر | السعة |
|---|
فهم سعة النموذج
تشير سعة النموذج إلى عدد المعلمات التي يحتوي عليها نموذج الذكاء الاصطناعي (مثلاً 70B = 70 مليار معلمة). النماذج الأكبر عادةً تتطلب ذاكرة وقوة حوسبة أكبر، ولكن يمكنها تقديم تحسين في التفكير وجودة المخرجات.
الدقة (FP16 / FP8 / FP4) تؤثر على مقدار الذاكرة التي تتطلبها سعة نموذج معين: تقلل صيغ الدقة المنخفضة متطلبات الذاكرة تقريبًا إلى النصف مع كل خطوة للأسفل (FP16 → FP8 → FP4)، على حساب دقة المخرجات إلى حد ما.
| حجم النموذج | الذاكرة النموذجية (FP16) | الذاكرة النموذجية (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |