ভাষার মডেল-এর উৎস দেখুন

একটি '''ভাষার মডেল''' প্রাকৃতিক ভাষার একটি সম্ভাব্য মডেল ।<ref>{{বই উদ্ধৃতি|ইউআরএল=https://web.stanford.edu/~jurafsky/slp3/|শিরোনাম=Speech and Language Processing|শেষাংশ=Jurafsky|প্রথমাংশ=Dan|শেষাংশ২=Martin|প্রথমাংশ২=James H.|তারিখ=2021|অধ্যায়=N-gram Language Models|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20220522005855/https://web.stanford.edu/~jurafsky/slp3/|আর্কাইভের-তারিখ=22 May 2022|ইউআরএল-অবস্থা=live|সংগ্রহের-তারিখ=24 May 2022|সংস্করণ=3rd}}</ref> ১৯৮০ সালে প্রথম উল্লেখযোগ্য পরিসংখ্যানগত ভাষার মডেল প্রস্তাব করা হয়েছিল এবং একই দশকে আইবিএম '[[ক্লড শ্যানন|শ্যানন]]-শৈলী' পরীক্ষা-নিরীক্ষা করে, যেখানে পাঠ্যের ভবিষ্যদ্বাণী বা সংশোধনে মানব বিষয়ের কর্মক্ষমতা পর্যবেক্ষণ ও বিশ্লেষণ করে ভাষার মডেলিং উন্নতির সম্ভাব্য উৎস চিহ্নিত করা হয়েছিল।<ref>{{সাময়িকী উদ্ধৃতি|শেষাংশ=Rosenfeld|প্রথমাংশ=Ronald|বছর=2000|শিরোনাম=Two decades of statistical language modeling: Where do we go from here?|ইউআরএল=https://figshare.com/articles/journal_contribution/6611138|পাতাসমূহ=1270–1278|ডিওআই=10.1109/5.880083}}</ref>

ভাষা মডেল বিভিন্ন কাজে উপযোগী, যার মধ্যে রয়েছে [[কণ্ঠ শনাক্তকরণ]] (যা কম সম্ভাবনাময়, যেমন অর্থহীন ক্রমের পূর্বাভাস ঠেকাতে সহায়ক), [[যন্ত্রানুবাদ]],<ref name="Semantic parsing as machine translation">Andreas, Jacob, Andreas Vlachos, and Stephen Clark (2013). [https://www.aclweb.org/anthology/P13-2009 "Semantic parsing as machine translation"] {{ওয়েব আর্কাইভ|ইউআরএল=https://web.archive.org/web/20200815080932/https://www.aclweb.org/anthology/P13-2009/|তারিখ=15 August 2020}}. Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers).</ref> [[স্বাভাবিক ভাষা উৎপাদন]] (আরও মানবসদৃশ লেখা তৈরি করা), [[আলোকভিত্তিক অক্ষর শনাক্তকরণ]], পথ নির্ধারণ,<ref>{{সাময়িকী উদ্ধৃতি|শেষাংশ=Liu|প্রথমাংশ=Yang|শেষাংশ২=Wu|প্রথমাংশ২=Fanyou|তারিখ=2023|শিরোনাম=Can language models be used for real-world urban-delivery route optimization?|পাতাসমূহ=100520|ডিওআই=10.1016/j.xinn.2023.100520|pmc=10587631|doi-access=free}}</ref> [হাতের লেখা শনাক্তকরণ,<ref>Pham, Vu, et al (2014). [[arxiv:1312.4569|"Dropout improves recurrent neural networks for handwriting recognition"]] {{ওয়েব উদ্ধৃতি |ইউআরএল=https://arxiv.org/abs/1312.4569 |শিরোনাম=সংরক্ষণাগারভুক্ত অনুলিপি |সংগ্রহের-তারিখ=১ ডিসেম্বর ২০২৪ |আর্কাইভের-তারিখ=১১ নভেম্বর ২০২০ |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20201111170554/https://arxiv.org/abs/1312.4569 |ইউআরএল-অবস্থা=bot: unknown }}. 14th International Conference on Frontiers in Handwriting Recognition. IEEE.</ref> ব্যাকরণ আনয়ন এবং তথ্য পুনরুদ্ধার।<ref name="ponte1998">{{সম্মেলন উদ্ধৃতি|শিরোনাম=A language modeling approach to information retrieval|শেষাংশ=Ponte|প্রথমাংশ=Jay M.|শেষাংশ২=Croft|প্রথমাংশ২=W. Bruce|বছর=1998|প্রকাশক=ACM|পাতাসমূহ=275–281|doi=10.1145/290941.291008}}</ref><ref name="hiemstra1998">{{সম্মেলন উদ্ধৃতি|শিরোনাম=A linguistically motivated probabilistically model of information retrieval|শেষাংশ=Hiemstra|প্রথমাংশ=Djoerd|বছর=1998|প্রকাশক=LNCS, Springer|পাতাসমূহ=569–584|doi=10.1007/3-540-49653-X_34}}</ref>

বড় ডেটাসেট (প্রায়ই [[ইন্টারনেট]] থেকে স্ক্র্যাপ করা শব্দসমূহ), ফিডফরোয়ার্ড স্নায়ু নেটওয়ার্ক এবং ট্রান্সফরমারের সমন্বয়ে গঠিত [[বৃহৎ ভাষার মডেল]] বর্তমানে এটির সর্বাধিক উন্নত রূপ। এরা [[পুনরাবৃত্ত স্নায়ু নেটওয়ার্ক]]-ভিত্তিক মডেলের স্থান নিয়েছে, যা এর আগে বিশুদ্ধ পরিসংখ্যানভিত্তিক মডেল, যেমন শব্দ এন-গ্রাম ভাষা মডেলকে প্রতিস্থাপন করেছিল।

== বিশুদ্ধ পরিসংখ্যান মডেল ==

=== শব্দ এন-গ্রামের উপর ভিত্তি করে মডেল ===
শব্দ এন-গ্রাম ভাষা মডেল একটি সম্পূর্ণ পরিসংখ্যানভিত্তিক ভাষার মডেল। এটি [[পুনরাবৃত্ত স্নায়ু নেটওয়ার্ক]]–ভিত্তিক মডেল দ্বারা প্রতিস্থাপিত হয়েছে, যা পরবর্তীতে [[বৃহৎ ভাষার মডেল]] দ্বারা প্রতিস্থাপিত হয়েছে।<ref>{{সাময়িকী উদ্ধৃতি|শেষাংশ২=Ducharme|প্রথমাংশ২=Réjean|তারিখ=March 1, 2003|শিরোনাম=A neural probabilistic language model|ইউআরএল=https://dl.acm.org/doi/10.5555/944919.944966|পাতাসমূহ=1137–1155|মাধ্যম=ACM Digital Library|প্রথমাংশ১=Yoshua|শেষাংশ১=Bengio|প্রথমাংশ৩=Pascal|শেষাংশ৩=Vincent|প্রথমাংশ৪=Christian|শেষাংশ৪=Janvin|সাময়িকী=The Journal of Machine Learning Research|খণ্ড=3}}</ref> এই মডেল ধরে নেয় যে একটি ক্রমের পরবর্তী শব্দের সম্ভাব্যতা শুধুমাত্র একটি নির্দিষ্ট আকারের পূর্ববর্তী শব্দের উইন্ডোর উপর নির্ভরশীল। যদি মাত্র এক পূর্ববর্তী শব্দ বিবেচনা করা হয়, সেটি বিগ্রাম মডেল; দুই শব্দ হলে ট্রিগ্রাম মডেল; এবং এন−১ শব্দ হলে এন-গ্রাম মডেল।<ref>{{বই উদ্ধৃতি|শেষাংশ১=Jurafsky |প্রথমাংশ১=Dan |শেষাংশ২=Martin |প্রথমাংশ২=James H. |শিরোনাম=Speech and Language Processing |তারিখ=7 January 2023 |সংস্করণ=3rd edition draft|ইউআরএল=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf |সংগ্রহের-তারিখ=24 May 2022 |অধ্যায়=N-gram Language Models}}</ref> বাক্যের শুরু এবং শেষ নির্দেশ করতে বিশেষ টোকেন <math>\langle s\rangle</math> এবং <math>\langle /s\rangle</math> ব্যবহৃত হয়।

অদেখা শব্দের জন্য শূন্য সম্ভাবনা নির্ধারণ ঠেকাতে, প্রতিটি শব্দের সম্ভাবনা তার ফ্রিকোয়েন্সি কাউন্টের চেয়ে সামান্য কম রাখা হয়। এটি হিসাব করার জন্য বিভিন্ন পদ্ধতি ব্যবহৃত হয়েছে, যেমন সাদামাটা "অ্যাড-ওয়ান" স্মুথিং (অদেখা এন-গ্রামের জন্য ১ এর কাউন্ট নির্ধারণ করা, যা একটি অপ্রাসঙ্গিক প্রাকৃতিক অনুমান হিসেবে কাজ করে) থেকে আরও উন্নত মডেল, যেমন গুড-টারিং ডিসকাউন্টিং বা ব্যাক-অফ মডেল।

=== সূচকীয় ===
সর্বাধিক এনট্রপি ভাষার মডেল বৈশিষ্ট্য ফাংশন ব্যবহার করে একটি শব্দ এবং এন-গ্রাম ইতিহাসের মধ্যে সম্পর্ক এনকোড করে। সমীকরণ হল:

<math display="block"> P(w_m \mid w_1,\ldots,w_{m-1}) = \frac{1}{Z(w_1,\ldots,w_{m-1})} \exp (a^T f(w_1,\ldots,w_m))</math>

যেখানে <math>Z(w_1,\ldots,w_{m-1})</math> পার্টিশন ফাংশন হল, <math>a</math> পরামিতি ভেক্টর এবং <math>f(w_1,\ldots,w_m)</math> বৈশিষ্ট্য ফাংশন. সহজভাবে, বৈশিষ্ট্য ফাংশন একটি নির্দিষ্ট এন-গ্রাম উপস্থিতির একটি সূচক মাত্র। এটি একটি পূর্বে ব্যবহার সহায়ক <math>a</math> বা নিয়মিতকরণের কিছু রূপ।

লগ-বিলিনিয়ার মডেল একটি সূচকীয় ভাষা মডেলের আরেকটি উদাহরণ।

=== স্কিপ-গ্রাম মডেল ===
স্কিপ-গ্রাম ভাষা মডেল একটি প্রচেষ্টা যা পূর্ববর্তী মডেল (অর্থাৎ শব্দ এন-গ্রাম ভাষা মডেল) যে ডেটা সংকট সমস্যার সম্মুখীন হয়েছিল তা কাটিয়ে উঠতে সাহায্য করে। এম্বেডিং ভেক্টরে উপস্থাপিত শব্দগুলি আর নির্দিষ্টভাবে পরপর থাকত না, বরং মাঝে গ্যাপ থাকতে পারত যেগুলি স্কিপ করা হত।<ref>{{ওয়েব উদ্ধৃতি|লেখক=David Guthrie|তারিখ=2006|শিরোনাম=A Closer Look at Skip-gram Modelling|ইউআরএল=http://homepages.inf.ed.ac.uk/ballison/pdf/lrec_skipgrams.pdf|ইউআরএল-অবস্থা=dead|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20170517144625/http://homepages.inf.ed.ac.uk/ballison/pdf/lrec_skipgrams.pdf|আর্কাইভের-তারিখ=17 May 2017|সংগ্রহের-তারিখ=27 April 2014|লেখক-প্রদর্শন=etal}}</ref>

আনুষ্ঠানিকভাবে, একটি {{mvar|k}}-স্কিপ-{{mvar|n}}-গ্রাম হলো একটি দৈর্ঘ্য-{{mvar|n}} এর সাবসিকোয়েন্স, যেখানে উপাদানগুলো একে অপরের থেকে সর্বোচ্চ {{mvar|k}} দূরত্বে থাকে।

উদাহরণস্বরূপ, ইনপুট পাঠ্যে:

: ''the rain in Spain falls mainly on the plain''

১-স্কিপ-২-গ্রামের সেটে সমস্ত বিগ্রাম (২-গ্রাম) এবং উপরন্তু পরবর্তীতে

: ''the in'', ''rain Spain'', ''in falls'', ''Spain mainly'', ''falls on'', ''mainly the'', and ''on plain''.

স্কিপ-গ্রাম মডেলে, শব্দগুলির মধ্যে অর্থনৈতিক সম্পর্কগুলি রৈখিক সংমিশ্রণের মাধ্যমে উপস্থাপিত হয়, যা কম্পোজিশনালিটির একটি রূপ ধারণ করে। উদাহরণস্বরূপ, কিছু মডেলে, যদি {{mvar|v}} একটি ফাংশন হয় যা একটি শব্দ {{mvar|w}} কে তার {{mvar|n}}-ডি ভেক্টর উপস্থাপনায় রূপান্তরিত করে, তাহলে<math display="block">v(\mathrm{king}) - v(\mathrm{male}) + v(\mathrm{female}) \approx v(\mathrm{queen})</math>

যেখানে ≈ স্পষ্ট করা হয় এই শর্ত দিয়ে যে, এর ডানপাশের মানটি বামপাশের মানের কাছের প্রতিবেশী হতে হবে।<ref name="mikolov2">{{cite arXiv|first1=Tomas|last1=Mikolov|first2=Kai|last2=Chen|first3=Greg|last3=Corrado|first4=Jeffrey|last4=Dean|eprint=1301.3781|title=Efficient estimation of word representations in vector space|year=2013|class=cs.CL}}</ref><ref name="compositionality2">{{cite conference|url=http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf|title=Distributed Representations of Words and Phrases and their Compositionality|last2=Sutskever|first2=Ilya|year=2013|pages=3111–3119|archive-url=https://web.archive.org/web/20201029083132/https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf|archive-date=29 October 2020|url-status=live|access-date=22 June 2015|last1=Mikolov|first1=Tomas|last3=Chen|first3=Kai|last4=Corrado irst4=Greg S.|last5=Dean|first5=Jeff|conference=[[Advances in Neural Information Processing Systems]]}}</ref>

== স্নায়ু মডেল ==

=== পৌনঃপুনিক স্নায়ু নেটওয়ার্ক ===
ক্রমাগত উপস্থাপনা বা শব্দের এম্বেডিংগুলি [[পুনরাবৃত্ত স্নায়ু নেটওয়ার্ক]]-ভিত্তিক ভাষা মডেলগুলিতে উৎপাদিত হয় (যা ক্রমাগত স্পেস ল্যাঙ্গুয়েজ মডেল নামেও পরিচিত)।<ref>{{ওয়েব উদ্ধৃতি|শেষাংশ=Karpathy|প্রথমাংশ=Andrej|শিরোনাম=The Unreasonable Effectiveness of Recurrent Neural Networks|ইউআরএল=https://karpathy.github.io/2015/05/21/rnn-effectiveness/|ইউআরএল-অবস্থা=live|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20201101215448/http://karpathy.github.io/2015/05/21/rnn-effectiveness/|আর্কাইভের-তারিখ=1 November 2020|সংগ্রহের-তারিখ=27 January 2019}}</ref> এই ধরনের ক্রমাগত স্পেস এম্বেডিং মাত্রিকতার সমস্যা দূর করতে সাহায্য করে, যা শব্দভান্ডারের আকারের সাথে দ্রুতগতিতে শব্দের সম্ভাব্য ক্রম সংখ্যা বৃদ্ধির ফলস্বরূপ, ডেটা স্প্যার্সিটি সমস্যা সৃষ্টি করে। স্নায়ু নেটওয়ার্কগুলি একটি স্নায়ু জালে ওজনের অ-রৈখিক সংমিশ্রণ হিসাবে শব্দগুলিকে উপস্থাপন করে এই সমস্যাটি এড়ায়।<ref name="bengio">{{বিশ্বকোষ উদ্ধৃতি|বিশ্বকোষ=[[Scholarpedia]]}}</ref>

=== বড় ভাষার মডেল ===
{{অনুচ্ছেদ উদ্ধৃতি|বৃহৎ ভাষার মডেল}}যদিও কখনও কখনও মানুষের কর্মক্ষমতা মিলে যায়, তবে তারা যুক্তিযুক্ত জ্ঞানীয় মডেল কিনা তা স্পষ্ট নয়। অন্তত পুনরাবৃত্ত স্নায়ু নেটওয়ার্কগুলির জন্য, এটি দেখানো হয়েছে যে তারা কখনও কখনও এমন নিদর্শন শিখে যা মানুষ করে না, কিন্তু মানুষ সাধারণত যে নিদর্শনগুলি করে তা শিখতে ব্যর্থ হয়।<ref>{{বই উদ্ধৃতি|ইউআরএল=https://books.google.com/books?id=XoxsDwAAQBAJ&dq=adger+%22goldilocks%22&pg=PA153|শিরোনাম=Syntactic Structures after 60 Years: The Impact of the Chomskyan Revolution in Linguistics|শেষাংশ=Hornstein|প্রথমাংশ=Norbert|শেষাংশ২=Lasnik|প্রথমাংশ২=Howard|তারিখ=2018-01-09|প্রকাশক=Walter de Gruyter GmbH & Co KG|ভাষা=en|আইএসবিএন=978-1-5015-0692-5|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230416160343/https://books.google.com/books?id=XoxsDwAAQBAJ&dq=adger+%22goldilocks%22&pg=PA153|আর্কাইভের-তারিখ=16 April 2023|ইউআরএল-অবস্থা=live|সংগ্রহের-তারিখ=11 December 2021}}</ref>

== মূল্যায়ন এবং মানদণ্ড ==
ভাষার মডেলের গুণমানের মূল্যায়ন বেশিরভাগই সাধারণ ভাষা-ভিত্তিক কাজ থেকে তৈরি মানুষের তৈরি নমুনা বেঞ্চমার্কের সাথে তুলনা করে করা হয়। অন্যদিকে (কম প্রতিষ্ঠিত পদ্ধতি) গুণমানের পরীক্ষাগুলি একটি ভাষা মডেলের অন্তর্নিহিত চরিত্র পরীক্ষা করে বা এই জাতীয় দুটি মডেলের তুলনা করে। যেহেতু ভাষার মডেলগুলি সাধারণত গতিশীল হতে এবং তারা যে ডেটা দেখে তা থেকে শেখার উদ্দেশ্যে করা হয়, তাই কিছু প্রস্তাবিত মডেল শেখার হারের তদন্ত করে। যেমন- শেখার বক্ররেখা পরিদর্শনের মাধ্যমে।<ref>{{উদ্ধৃতি |শেষাংশ=Karlgren |প্রথমাংশ=Jussi |শিরোনাম=International Conference of the Cross-Language Evaluation Forum |তারিখ=2015 |পাতাসমূহ=254–260 |ধারাবাহিক=Lecture Notes in Computer Science |অধ্যায়=Evaluating Learning Language Representations |প্রকাশক=Springer International Publishing |ডিওআই=10.1007/978-3-319-64206-2_8 |আইএসবিএন=9783319642055 |শেষাংশ২=Schutze |প্রথমাংশ২=Hinrich}}</ref>

ভাষা প্রক্রিয়াকরণ সিস্টেমের মূল্যায়নে ব্যবহারের জন্য বিভিন্ন ডেটাসেট তৈরি করা হয়েছে।<ref name=":0">{{Cite arXiv|last1=Devlin|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|eprint=1810.04805}}</ref> এর মধ্যে রয়েছে:

* ভাষাগত গ্রহণযোগ্যতার কর্পাস<ref>{{ওয়েব উদ্ধৃতি|শিরোনাম=The Corpus of Linguistic Acceptability (CoLA)|ইউআরএল=https://nyu-mll.github.io/CoLA/|ইউআরএল-অবস্থা=live|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20201207081834/https://nyu-mll.github.io/CoLA/|আর্কাইভের-তারিখ=7 December 2020|সংগ্রহের-তারিখ=2019-02-25|ওয়েবসাইট=nyu-mll.github.io}}</ref>
* আঠালো বেঞ্চমার্ক<ref>{{ওয়েব উদ্ধৃতি|ভাষা=en|শিরোনাম=GLUE Benchmark|ইউআরএল=https://gluebenchmark.com/|ইউআরএল-অবস্থা=live|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20201104161928/https://gluebenchmark.com/|আর্কাইভের-তারিখ=4 November 2020|সংগ্রহের-তারিখ=2019-02-25|ওয়েবসাইট=gluebenchmark.com}}</ref>
* মাইক্রোসফট রিসার্চ প্যারাফ্রেজ কর্পাস<ref>{{ওয়েব উদ্ধৃতি|ভাষা=en-us|শিরোনাম=Microsoft Research Paraphrase Corpus|ইউআরএল=https://www.microsoft.com/en-us/download/details.aspx?id=52398|ইউআরএল-অবস্থা=live|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20201025121243/https://www.microsoft.com/en-us/download/details.aspx?id=52398|আর্কাইভের-তারিখ=25 October 2020|সংগ্রহের-তারিখ=2019-02-25|ওয়েবসাইট=Microsoft Download Center}}</ref>
* মাল্টি-জেনার ন্যাচারাল ল্যাঙ্গুয়েজ ইনফারেন্স
* প্রশ্ন প্রাকৃতিক ভাষা ইনফারেন্স
* কোরা প্রশ্ন পেয়ার<ref>{{উদ্ধৃতি |শেষাংশ=Aghaebrahimian |প্রথমাংশ=Ahmad |শিরোনাম=Text, Speech, and Dialogue |তারিখ=2017 |খণ্ড=10415 |পাতাসমূহ=66–73 |ধারাবাহিক=Lecture Notes in Computer Science |অধ্যায়=Quora Question Answer Dataset |প্রকাশক=Springer International Publishing |ডিওআই=10.1007/978-3-319-64206-2_8 |আইএসবিএন=9783319642055}}</ref>
* টেক্সচুয়াল এনটেইলমেন্ট স্বীকৃতি<ref>{{ওয়েব উদ্ধৃতি|শেষাংশ=Sammons, V.G.Vinod Vydiswaran, Dan Roth|প্রথমাংশ=Mark|শেষাংশ২=Vydiswaran|প্রথমাংশ২=V.G.|শিরোনাম=Recognizing Textual Entailment|ইউআরএল=http://l2r.cs.uiuc.edu/~danr/Teaching/CS546-12/TeChapter.pdf|ইউআরএল-অবস্থা=dead|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20170809113438/http://l2r.cs.uiuc.edu/~danr/Teaching/CS546-12/TeChapter.pdf|আর্কাইভের-তারিখ=9 August 2017|সংগ্রহের-তারিখ=February 24, 2019}}</ref>
* শব্দার্থিক টেক্সচুয়াল সাদৃশ্য বেঞ্চমার্ক
* স্কোয়াড প্রশ্নের উত্তর পরীক্ষা<ref>{{ওয়েব উদ্ধৃতি|শিরোনাম=The Stanford Question Answering Dataset|ইউআরএল=https://rajpurkar.github.io/SQuAD-explorer/|ইউআরএল-অবস্থা=live|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20201030072130/https://rajpurkar.github.io/SQuAD-explorer/|আর্কাইভের-তারিখ=30 October 2020|সংগ্রহের-তারিখ=2019-02-25|ওয়েবসাইট=rajpurkar.github.io}}</ref>
* স্ট্যানফোর্ড সেন্টিমেন্ট ট্রিব্যাঙ্ক<ref>{{ওয়েব উদ্ধৃতি|শিরোনাম=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank|ইউআরএল=https://nlp.stanford.edu/sentiment/treebank.html|ইউআরএল-অবস্থা=live|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20201027125825/https://nlp.stanford.edu/sentiment/treebank.html|আর্কাইভের-তারিখ=27 October 2020|সংগ্রহের-তারিখ=2019-02-25|ওয়েবসাইট=nlp.stanford.edu}}</ref>
* উইনোগ্রাড এনএলআই
* বুলকিউ, পিআইকিউএ, এসআইকিউএ, হেলাসোয়াগ, উইনোগ্রান্ডে, এআরসি, ওপেনবুককিউএ, ন্যাচারালকুয়েশন্স, ট্রিভিয়াকিউএ, রেস, এমএমএলইউ (ম্যাসিভ মাল্টিটাস্ক ল্যাঙ্গুয়েজ আন্ডারস্ট্যান্ডিং), বিগ-বেঞ্চ হার্ড, জিএসএম৮ক, রিয়েলটক্সিসিটি প্রম্পটস, উইনোজেন্ডার্স,<ref>{{উদ্ধৃতি |শেষাংশ=Hendrycks |প্রথমাংশ=Dan |শিরোনাম=Measuring Massive Multitask Language Understanding |তারিখ=2023-03-14 |ইউআরএল=https://github.com/hendrycks/test |সংগ্রহের-তারিখ=2023-03-15 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230315011614/https://github.com/hendrycks/test |ইউআরএল-অবস্থা=live |আর্কাইভের-তারিখ=15 March 2023}}</ref> ([https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md এলএলএমএ বেঞ্চমার্ক])।

== আরও দেখুন ==
 

== তথ্যসূত্র ==
{{সূত্র তালিকা|সূত্র=<!-- <ref name=Manning-2022>{{cite journal
|last=Manning
|first=Christopher D.
|author-link=Christopher D. Manning
|title=Human Language Understanding & Reasoning
|journal=Daedalus
|year=2022
|volume=151
|issue=2
|pages=127–138
|doi=10.1162/daed_a_01905
|s2cid=248377870
|url=https://www.amacad.org/publication/human-language-understanding-reasoning
|access-date=10 March 2023
|archive-date=9 March 2023
|archive-url=https://web.archive.org/web/20230309154322/https://www.amacad.org/publication/human-language-understanding-reasoning
|url-status=live
}}</ref> -->}}

== আরও পড়ুন ==
 {{refbegin}}

* {{cite conference|title=A Language Modeling Approach to Information Retrieval|year=1998|pages=275–281|citeseerx=10.1.1.117.4237|author1=J M Ponte|author2=W B Croft|book-title=Research and Development in Information Retrieval}}
* {{cite conference|title=A General Language Model for Information Retrieval|year=1999|pages=279–280|citeseerx=10.1.1.21.6467|author1=F Song|author2=W B Croft|book-title=Research and Development in Information Retrieval}}
* {{cite tech report|first=Stanley|last=Chen|author2=Joshua Goodman|title=An Empirical Study of Smoothing Techniques for Language Modeling|institution=Harvard University|year=1998|citeseerx=10.1.1.131.5458}}

{{refend}}{{স্বাভাবিক ভাষা প্রক্রিয়াজাতকরণ}}{{Artificial intelligence (AI)}}

[[বিষয়শ্রেণী:ভাষা মডেলিং]]