Language Model
بقلم مهندس/ محمود فوزى
8273@eng.asu.edu.eg
Top Members @ 2022
نموذج اللغةlanguage model هو نموذج احتمالي للغة البشرية يمكن أن يولد احتمالات لسلسلة من الكلمات لتكوين نص مفهوم و محاكى للكتابة البشرية ، بناء على مجموعة نصية بلغة واحدة أو عدة لغات تم تدريب هذة المناذج
عليها. وهو تطبيق من تطبيقات الذكاء الصناعى المفيدة جدا ولها تطبيقات كثيرة ولها
تطور كبير فى الفترة السابقة . فى هذا المقال سوف نتكلم عن هذة التقنية وبعض
تطبيقاتها .
تعد نماذج اللغة مفيدة لمجموعة كبيرة جدا من تطبيقات الذكاء الصناعى
وتطبيقات الحاسب مثل التعرف على الكلام ، والترجمة الآلية ، توليد اللغة الطبيعية ، التعرف البصري على
الحروف, التعرف على خط اليد, التعديل
والتصحيح النحوي, استرجاع المعلومات وغيرها من التطبيقات. تنقسم هذة التقنية الى
اقسام ونها (Pure statistical models , Neural
models, Evaluation and benchmarks) .
Pure statistical models هو نوذج قائم على تقنية word n-grams وهو نموذج احصائى يعتمد على تكرار الكلمات
وعلاقة الكلمات ببعضها وهى من اوائل التقنيات ولها مشاكل كثيرة فى تكوين نصوص
مفهومة وحدثت كتيرا مع تطور تقنيات الذكاء الصناعى الى Skip-gram هو محاولة للتغلب على مشكلة sparsity problem.
Evaluation and benchmarks هو نمذج قائم على المقارنة بين
العبارات البشرية التى كتبها الانسان فى الوثائق و والانترنت و العبارات المنشئة
من language model لتحلل جودتها لتقديم تقييم لنماذج اللغة و
النصوص المنتجة منها وذلك بهدف تحسين جودة language
model وتطويرها والتعلم الذاتى
لها.
Neural models هي مزيج من الشبكات العصبية والعميقة وتعلم الالة تتعلم من
البيانات وتطور نماذجها لتحسين أدائها. ولها
كثير من النماذج ومنها (Recurrent
neural network , Large language models) . والاكثر شهرة فى تقنيات language model هى (LLC) نموذج اللغة الكبير الذى يعتمد على تقنيات الذكاء الصناعى السريعة التى تتمكن من
معالجة كم كبير وهائل من المعلومات والبيانات النصية وتعتمد ايضا على تقنية artificial neural networks التى تتكون من ملايين من
النماذج التى تم تدريبها مسبقا والقادرة على التعلم الذاتى لاخذ النصوص والتنبؤ
بشكل متكرر بالكلمات التالية لتكوين نصوص مفهومة بناء على شبكة الانترنت الدولية
والبيانات المخزنة التى تم التدريب عليها سابقا. ومن اشهر هذة النماذج الان هى تطبيقات
GPT .
كانت البداية من شركة جوجل فى تطوير هذة التقنية سنة 2018 فى تطبيق مسمى (BERT , XLNet) وهو
مولد شفرى فقط ولم يستخدم فى توليد النصوص المفهومة . ثم
جائت شركة OpenAI بمولد النصوص ChatGPT (Chatbot) سنة 2019 ليكون اوائل مولدات للنصوص قادر
على توليد نصوص مفهومة ودقيقة وهو نموذج للاغراض العامة المبنى على تقنيات transformer architecture ومكون من عدد هائل يصل الى 1.5
بليون معامل يتحكم فى توليد النص ومن هنا بدء التطور السريع فى مولدات النصوص فجاء
التطوير فى Generative
Pre-trained Transformer (GPT – 2 , 3 , 3.5 , 4) واخيرا GPT-NeoX من شركة OpenAI والاكثر
تقدما الان هو Llama 2 من شكة Meta الذى يقارب من 70 بليون معامل يتحكم فى توليد
النصوص.
تعد التطورات في مجال النماذج اللغوية الكبيرة مذهلة، حيث تمكنت هذه التقنية
من تحقيق تقدم هائل في العديد من المجالات و استخدام النماذج اللغوية الكبيرة في
ترجمة النصوص، وإنشاء محتوى جديد، والإجابة على الأسئلة، وتوليد الشعر، وإنشاء
قصص، والمساعدة في البحث والتعلم، خدمة العملاء و توليد نصوص لمقدمى الخدمات
الصوتية والدعم الفنى وحتى في تطوير تطبيقات الذكاء الاصطناعي الأخرى.
ومع ذلك، فإن هناك أيضا تحديات تواجه استخدام النماذج اللغوية الكبيرة. على
سبيل المثال، قد تظهر بعص النصوص الغير دقيقة مبنية على معلومات مزيفة من شبكة
المعلومات الدولية الانترنت. يعمل الباحثون والمهندسون في هذا المجال على تحسين
هذه النماذج وتطويرها بشكل مستمر، وتطبيق إجراءات للتحكم والمراقبة لضمان
استخدامها بطريقة أخلاقية ومسؤولة.
بشكل عام، النماذج اللغوية الكبيرة تمثل تقدما هائلا في مجال الذكاء الاصطناعي وتقنياته، وتعد أداة قوية لفهم وتوليد النصوص بشكل ذكي وإثراء التفاعلات الإنسانية مع التكنولوجيا. ومن المتوقع أن تستمر هذه التقنية في التطور والتحسن في المستقبل لتلبية احتياجاتنا المتزايدة في مجال اللغة والتواصل.
إعلانات أعضاء وأسرة المجلة من هنا
إعداد وتقديم
م. محمود فوزى
تعليقات
إرسال تعليق