وضع كلود شانون، مؤسس نظرية المعلومات، في عام 1948، حجر الأساس لفكرة مبتكرة تهدف إلى نمذجة اللغة البشرية باستخدام نماذج اللغة الاحتمالية، إذ اقترح شانون أن اللغة يمكن أن تولد بناءً على احتمالية ظهور الكلمة التالية في جملة ما، استنادًا إلى الكلمات التي سبقتها، ولكن هذه الفكرة لم تلقى قبولًا واسعًا في ذلك الوقت، بل …