MiniGPT
نموذج Transformer بأسلوب GPT (فك تشفير فقط) مبني بالكامل من الصفر في PyTorch — دون اختصارات nn.Transformer — مع أداة حية لتصوّر آلية الانتباه الذاتي.
نظرة عامة
MiniGPT نموذج Transformer بأسلوب GPT (فك تشفير فقط) نفّذتُه بالكامل من الصفر في PyTorch — تضمينات الرموز والمواضع، وانتباه ذاتي سببي متعدد الرؤوس، وكتل بواقٍ بمعيرة مسبقة — عمدًا دون اختصار nn.Transformer، لأفهم كل جزء.
وهو نموذج لغة على مستوى الحرف بأخذ عينات انحداري ذاتي (درجة الحرارة / top-k)، ضمن واجهة Gradio للتدريب داخل المتصفح وتوليد النص وخريطة حرارية حية للانتباه الذاتي لترى النموذج وهو ينتبه.
ما الذي بنيته
دواخل الـ Transformer
تنفيذ التضمينات والانتباه الذاتي السببي متعدد الرؤوس وكتل البواقي بالمعيرة المسبقة يدويًا.
توليد انحداري ذاتي
بناء نموذج لغة على مستوى الحرف بأخذ عينات بدرجة الحرارة وtop-k لتوليد نص قابل للتحكم.
واجهة تعلّم تفاعلية
تطبيق Gradio للتدريب داخل المتصفح والتوليد وتصوّر خريطة الانتباه الذاتي الحية.
التقنيات المستخدمة
- Python
- PyTorch
- Gradio
لديك مشروع في ذهنك؟
سواء كان موقعًا لعملك أو تطبيقًا أو شيئًا يعمل بالذكاء الاصطناعي — أخبرني عنه وسأرد في نفس اليوم.