فهم اللغة الطبيعية

فهم اللغة الطبيعية Natural-language understanding (NLU) أو تفسير اللغة الطبيعية (NLI) natural-language interpretation[1] هو موضوع فرعي من معالجة اللغة الطبيعية في الذكاء الاصطناعي الذي يتعامل مع استيعاب قراءة الآلة. يعتبر فهم اللغة الطبيعية مشكلة الذكاء الاصطناعي الصارم.[2]

هناك اهتمام تجاري كبير في هذا المجال بسبب تطبيقه على التفكير الآلي،[3] الترجمة الآلية،[4] إجابة الأسئلة،[5]جمع الأخبار، تصنيف النصوص، تنشيط الصوت، الأرشفة، و تحليل المحتوى على نطاق واسع.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

تاريخ

يعد البرنامج STUDENT، الذي كتبه دانيال بوبرو في عام 1964 لأطروحة الدكتوراه في MIT من أولى المحاولات المعروفة لفهم اللغة الطبيعية بواسطة الحاسب.[6][7][8][9][10] بعد ثماني سنوات من صياغة جون مكارثي المصطلح الذكاء الاصطناعي، أظهرت أطروحة بوبرو (بعنوان إدخال اللغة الطبيعية لنظام حل مشكلات الحاسب) كيف يمكن للحاسب فهم إدخال لغة طبيعية بسيطة لحل مسائل الكلمات الجبرية.

بعد عام، في عام 1965، كتب جوزيف وايزنباوم في معهد ماساتشوستس للتكنولوجيا برنامج ELIZA، وهو برنامج تفاعلي ينفذ حواراً باللغة الإنگليزية حول أي موضوع، وأكثرها شيوعاً هو العلاج النفسي. عملت ELIZA عن طريق التحليل البسيط واستبدال الكلمات الرئيسية بعبارات محفوظة وتجنب وايزنباوم مشكلة إعطاء البرنامج قاعدة بيانات معرفة حقيقية أو معجم غني. ومع ذلك، اكتسبت ELIZA شعبية مدهشة كمشروع لعبة ويمكن اعتبارها مقدمة أولية تماماً للأنظمة التجارية الحالية مثل تلك المستخدمة من قبل Ask.com.[11]

في عام 1969 قدم روجر شانك من جامعة ستانفورد نظرية التبعية المفاهيمية لفهم اللغة الطبيعية.[12] هذا النموذج، الذي تأثر جزئياً بعمل سيدني لامب، استخدم على نطاق واسع من قبل طلاب شانك في جامعة ييل، مثل روبرت ولنسكي و وندي لنرت و جانيت كولودنر.

في عام 1970، قدم وليام أ. وودز شبكة الانتقال المعزز (ATN) لتمثيل مدخلات اللغة الطبيعية.[13]بدلاً من قواعد بنية العبارات، استخدمت ATNs مجموعة مكافئة من آلات محدودة الحالات كما سُميت بشكل متكرر. استمر استخدام ATNs وتنسيقها الأكثر عمومية المسمى "ATNs المعممة" لعدد من السنوات.

في عام 1971، أنهى تري ڤينوگراد كتابة SHRDLU لأطروحة الدكتوراه الخاصة به في معهد مساتشوستس للتكنولوجيا. يمكن لـ SHRDLU فهم الجمل الإنگليزية البسيطة في عالم مقيد من كتل الأطفال لتوجيه ذراع آلية لتحريك العناصر. قدم العرض الناجح لـ SHRDLU زخماً كبيراً لاستمرار البحث في هذا المجال.[14][15]استمر ڤينوگراد في أن يكون له تأثير كبير في هذا المجال مع نشر كتابه اللغة كعملية معرفية.[16] في ستانفورد، أصبح ڤينوگراد لاحقاً مستشاراً لـ لاري پيدج، الذي شارك في تأسيس گوگل.

في السبعينيات والثمانينيات من القرن الماضي، واصلت مجموعة معالجة اللغة الطبيعية في SRI العالمية البحث والتطوير في هذا المجال. تم الاضطلاع بعدد من الجهود التجارية القائمة على البحث، على سبيل المثال، في عام 1982 شكل گاري هندركس شركة مؤسسة سمانتك في الأصل كشركة لتطوير واجهة لغة طبيعية لاستعلامات قاعدة البيانات على أجهزة الحاسب الشخصية. ومع ذلك، مع ظهور الماوس، فقد تغيرت واجهة المستخدم الرسومية الاتجاه. بدأ عدد من الجهود التجارية الأخرى في نفس الوقت تقريباً، على سبيل المثال، لاري آر. هاريس في مؤسسة الذكاء الاصطناعي وروجر شانك وطلابه في شركة النظم المعرفية.[17][18] في عام 1983، طور مايكل داير نظام BORIS في جامعة ييل والذي يحمل أوجه تشابه مع أعمال روجر شانك و دبليو. جي. لينرت.[19]

وقد شهدت الألفية الثالثة إدخال أنظمة تستخدم التعلم الآلي لتصنيف النصوص، مثل IBM Watson. ومع ذلك، فقد تمت مناقشة مقدار "فهم" مثل هذه الأنظمة، على سبيل المثال وفقاً لـ جون سيرل، لم يفهم Watson حتى الأسئلة.[20]

يدعم جون بول، عالم معرفي ومخترع نظرية Patom هذا التقييم. فقد حققت معالجة اللغة الطبيعية تقدماً للتطبيقات لدعم الإنتاجية البشرية في الخدمة والتجارة الإلكترونية ولكن هذا أصبح ممكناً إلى حد كبير من خلال تضييق نطاق التطبيق. هناك آلاف الطرق لطلب شيء ما بلغة بشرية لا تزال تتحدى معالجة اللغة الطبيعية التقليدية. "إجراء محادثة هادفة مع الآلات ممكن فقط عندما نطابق كل كلمة بالمعنى الصحيح بناءً على معاني الكلمات الأخرى في الجملة - تماماً كما يفعل طفل يبلغ من العمر 3 سنوات بدون تخمين" Patom Theory


المجال والسياق

يمكن تطبيق المصطلح الشامل "فهم اللغة الطبيعية" على مجموعة متنوعة من تطبيقات الحاسب، بدءاً من المهام الصغيرة والبسيطة نسبياً مثل الأوامر القصيرة الصادرة إلى الروبوتات، إلى المساعي المعقدة للغاية مثل الفهم الكامل للمقالات الصحفية أو المقاطع الشعرية. وتقع العديد من تطبيقات العالم الحقيقي بين طرفي نقيض، على سبيل المثال تصنيف النصوص للتحليل التلقائي لرسائل البريد الإلكتروني وتوجيهها إلى قسم مناسب في شركة لا يتطلب فهماً عميقاً للنص،[21] ولكنه يحتاج إلى التعامل مع مفردات أكبر بكثير وبناء جملة أكثر تنوعاً من إدارة الاستعلامات البسيطة لجداول قاعدة البيانات ذات المخططات الثابتة.

على مر السنين، حدثت محاولات مختلفة لمعالجة اللغة الطبيعية أو الجمل الشبيهة بالإنگليزية المقدمة لأجهزة الحاسب بدرجات متفاوتة من التعقيد. لم تسفر بعض المحاولات عن أنظمة ذات فهم عميق، ولكنها ساعدت في قابلية استخدام النظام بشكل عام. على سبيل المثال، قام واين راتليف في الأصل بتطوير برنامج Vulcan بصيغة تشبه اللغة الإنگليزية لتقليد الحاسب الناطق باللغة الإنجليزية في ستار ترك. أصبح Vulcan لاحقاً نظام dBase الذي أطلق تركيبته سهلة الاستخدام بشكل فعال صناعة قواعد بيانات الحاسب الشخصي.[22][23] ومع ذلك، فإن الأنظمة التي تحتوي على بنية سهلة الاستخدام أو الشبيهة بالإنگليزية تختلف تماماً عن الأنظمة التي تستخدم معجماً ثرياً وتتضمن تمثيلًا داخلياً (غالباً مثل منطق الصف الأول) للدلالات من جمل اللغة الطبيعية.

ومن ثم فإن اتساع وعمق "الفهم" الذي يستهدفه النظام يحددان كلاً من مدى تعقيد النظام (والتحديات الضمنية) وأنواع التطبيقات التي يمكنه التعامل معها. يقاس "اتساع" النظام بأحجام مفرداته وقواعده. يقاس "العمق" بالدرجة التي يقارب بها فهمها فهم المتحدث الأصلي بطلاقة. في أضيق الحدود وأكثرها سطحية، تتطلب مترجمي الأوامر الشبيهة بالإنگليزية الحد الأدنى من التعقيد، لكن لديهم نطاقاً صغيراً من التطبيقات. تستكشف الأنظمة الضيقة ولكن العميقة آليات الفهم ونمذجتها ،[24]لكن لا يزال لديهم تطبيق محدود. الأنظمة التي تحاول فهم محتويات مستند مثل البيان الإخباري بما يتجاوز مطابقة الكلمات الرئيسية البسيطة والحكم على مدى ملاءمتها للمستخدم هي أنظمة أوسع وتتطلب تعقيداً كبيراً،[25]لكنها لا تزال ضحلة إلى حد ما. وتتجاوز الأنظمة الواسعة جداً والعميقة جداً حالة العمل الحالية.

المكونات والبنية

بغض النظر عن النهج المستخدم، تشترك معظم أنظمة فهم اللغة الطبيعية في بعض المكونات المشتركة. يحتاج النظام إلى معجم للغة و مفسر و قواعد لتقسيم الجمل إلى تمثيل داخلي. يتطلب إنشاء معجم غني باستخدام الأنطولوجية جهداً كبيراً، على سبيل المثال، يتطلب معجم ووردنت جهداً كبيراً من الأشخاص.[26]

يحتاج النظام أيضاً إلى نظرية من الدلالات لتوجيه الاستيعاب. حيث تعتمد قدرات التفسير لنظام فهم اللغة على النظرية الدلالية التي يستخدمها. وتمتلك النظريات الدلالية المشاركة للغة مقايضات محددة في مدى ملاءمتها كأساس للتفسير الدلالي الآلي بالحاسوب.[27] تتراوح هذه من دلالات بسيطة أو التحليل الدلالي العشوائي إلى استخدام الپراگماتية لاشتقاق المعنى من السياق.[28][29][30] يحول المفسر الدلالي نصوص اللغة الطبيعية إلى تمثيلات رسمية للمعنى.[31]

تحاول التطبيقات المتقدمة لفهم اللغة الطبيعية أيضاً دمج الاستدلال المنطقي في إطارها. يتم تحقيق ذلك عموماً عن طريق تعيين المعنى المشتق في مجموعة من التأكيدات في المنطق الإسنادي، ثم استخدام الاستنتاج المنطقي للوصول إلى الاستنتاجات. لذلك تحتاج الأنظمة القائمة على اللغات الوظيفية مثل ليسپ إلى تضمين نظام فرعي لتمثيل التأكيدات المنطقية، بينما تعتمد الأنظمة الموجهة للمنطق مثل تلك التي تستخدم اللغة پرولوگ بشكل عام على تمديد إطار التمثيل المنطقي المدمج.[32][33]

يمكن أن تشكل إدارة السياق في فهم اللغة الطبيعية تحديات خاصة. أدت مجموعة كبيرة ومتنوعة من الأمثلة والأمثلة المقابلة إلى مناهج متعددة للنمذجة الرسمية للسياق، لكل منها نقاط قوة وضعف محددة.[34][35]

انظر أيضاً

ملاحظات

  1. ^ Semaan, P. (2012). Natural Language Generation: An Overview. Journal of Computer Science & Research (JCSCR)-ISSN, 50-57
  2. ^ Roman V. Yampolskiy. Turing Test as a Defining Feature of AI-Completeness . In Artificial Intelligence, Evolutionary Computation and Metaheuristics (AIECM) --In the footsteps of Alan Turing. Xin-She Yang (Ed.). pp. 3-17. (Chapter 1). Springer, London. 2013. http://cecs.louisville.edu/ry/TuringTestasaDefiningFeature04270003.pdf
  3. ^ Van Harmelen, Frank, Vladimir Lifschitz, and Bruce Porter, eds. Handbook of knowledge representation. Vol. 1. Elsevier, 2008.
  4. ^ Macherey, Klaus, Franz Josef Och, and Hermann Ney. "Natural language understanding using statistical machine translation." Seventh European Conference on Speech Communication and Technology. 2001.
  5. ^ Hirschman, Lynette, and Robert Gaizauskas. "Natural language question answering: the view from here." natural language engineering 7.4 (2001): 275-300.
  6. ^ American Association for Artificial Intelligence Brief History of AI [1]
  7. ^ Daniel Bobrow's PhD Thesis Natural Language Input for a Computer Problem Solving System.
  8. ^ Machines who think by Pamela McCorduck 2004 ISBN 1-56881-205-1 page 286
  9. ^ Russell, Stuart J.; Norvig, Peter (2003), Artificial Intelligence: A Modern Approach Prentice Hall, ISBN 0-13-790395-2, http://aima.cs.berkeley.edu/, p. 19
  10. ^ Computer Science Logo Style: Beyond programming by Brian Harvey 1997 ISBN 0-262-58150-7 page 278
  11. ^ Weizenbaum, Joseph (1976). Computer power and human reason: from judgment to calculation W. H. Freeman and Company. ISBN 0-7167-0463-3 pages 188-189
  12. ^ Roger Schank, 1969, A conceptual dependency parser for natural language Proceedings of the 1969 conference on Computational linguistics, Sång-Säby, Sweden, pages 1-3
  13. ^ Woods, William A (1970). "Transition Network Grammars for Natural Language Analysis". Communications of the ACM 13 (10): 591–606 [2]
  14. ^ Artificial intelligence: critical concepts, Volume 1 by Ronald Chrisley, Sander Begeer 2000 ISBN 0-415-19332-X page 89
  15. ^ Terry Winograd's SHRDLU page at Stanford SHRDLU
  16. ^ Winograd, Terry (1983), Language as a Cognitive Process, Addison–Wesley, Reading, MA.
  17. ^ Larry R. Harris, Research at the Artificial Intelligence corp. ACM SIGART Bulletin, issue 79, January 1982 [3]
  18. ^ Inside case-based reasoning by Christopher K. Riesbeck, Roger C. Schank 1989 ISBN 0-89859-767-6 page xiii
  19. ^ In Depth Understanding: A Model of Integrated Process for Narrative Comprehension.. Michael g. Dyer. MIT Press. ISBN 0-262-04073-5
  20. ^ Searle, John (23 February 2011). "Watson Doesn't Know It Won on 'Jeopardy!'". Wall Street Journal.
  21. ^ An approach to hierarchical email categorization by Peifeng Li et al. in Natural language processing and information systems edited by Zoubida Kedad, Nadira Lammari 2007 ISBN 3-540-73350-7
  22. ^ InfoWorld, Nov 13, 1989, page 144
  23. ^ InfoWorld, April 19, 1984, page 71
  24. ^ Building Working Models of Full Natural-Language Understanding in Limited Pragmatic Domains by James Mason 2010 [4]
  25. ^ Mining the Web: discovering knowledge from hypertext data by Soumen Chakrabarti 2002 ISBN 1-55860-754-4 page 289
  26. ^ G. A. Miller, R. Beckwith, C. D. Fellbaum, D. Gross, K. Miller. 1990. WordNet: An online lexical database. Int. J. Lexicograph. 3, 4, pp. 235-244.
  27. ^ Using computers in linguistics: a practical guide by John Lawler, Helen Aristar Dry 198 ISBN 0-415-16792-2 page 209
  28. ^ Naive semantics for natural language understanding by Kathleen Dahlgren 1988 ISBN 0-89838-287-4
  29. ^ Stochastically-based semantic analysis by Wolfgang Minker, Alex Waibel, Joseph Mariani 1999 ISBN 0-7923-8571-3
  30. ^ Pragmatics and natural language understanding by Georgia M. Green 1996 ISBN 0-8058-2166-X
  31. ^ Wong, Yuk Wah, and Raymond J. Mooney. "Learning for semantic parsing with statistical machine translation." Proceedings of the main conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics. Association for Computational Linguistics, 2006.
  32. ^ Natural Language Processing Prolog Programmers by M. Covington, 1994 ISBN 0-13-629478-2
  33. ^ Natural language processing in Prolog by Gerald Gazdar, Christopher S. Mellish 1989 ISBN 0-201-18053-7
  34. ^ Understanding language understanding by Ashwin Ram, Kenneth Moorman 1999 ISBN 0-262-18192-4 page 111
  35. ^ Formal aspects of context by Pierre Bonzon et al 2000 ISBN 0-7923-6350-7
  36. ^ Programming with Natural Language Is Actually Going to Work—Wolfram Blog
  37. ^ Van Valin, Jr, Robert D. "From NLP to NLU" (PDF).
  38. ^ Ball, John. "multi-lingual NLU by Pat Inc". Pat.ai.
تمّ الاسترجاع من "https://www.marefa.org/w/index.php?title=فهم_اللغة_الطبيعية&oldid=2255675"