বৃহৎ ভাষার মডেল-এর উৎস দেখুন

{{মেশিন লার্নিং}}
'''বৃহৎ ভাষার মডেল'''<ref>{{ওয়েব উদ্ধৃতি|শেষাংশ=ঘোষ|প্রথমাংশ=আস্তিক|তারিখ=2023-07-13|ভাষা=bn|শিরোনাম=হরপ্পার ভাষা পাঠোদ্ধার করবে ChatGPT! জানা যাবে ভারতের নতুন ইতিহাস?|ইউআরএল=https://eisamay.com/tech-news/news/ai-language-models-like-chatgpt-can-unlock-mysterious-ancient-texts-like-indus-script/101729153.cms|সংগ্রহের-তারিখ=2024-11-26|ওয়েবসাইট=[[এই সময় (সংবাদপত্র)|এই সময়]] Online}}</ref><ref>{{সংবাদ উদ্ধৃতি|ইউআরএল=https://www.jugantor.com/tech/700396|শিরোনাম=মনুষ্যত্ব মানবতাকে ধ্বংস করে দিতে পারে এআই!|শেষাংশ=ইফরাত|প্রথমাংশ=হৃদিতা|তারিখ=২৬ জুলাই ২০২৩|কর্ম=[[দৈনিক যুগান্তর]]|সংগ্রহের-তারিখ=২৬ নভেম্বর ২০২৪}}</ref><ref>{{ওয়েব উদ্ধৃতি|শেষাংশ=তন্ময়|প্রথমাংশ=শামস রশিদ|তারিখ=2023-03-01|ভাষা=en|শিরোনাম=বাংলা ভাষার চ্যাটজিপিটি ‘আলাপচারী’|ইউআরএল=https://bangla.thedailystar.net/tech-startup/science-tech-gadgets/news-456006|সংগ্রহের-তারিখ=2024-11-26|ওয়েবসাইট=[[দ্য ডেইলি স্টার (বাংলাদেশ)|দ্য ডেইলি স্টার]]}}</ref> এক ধরনের গণনামূলক মডেল যা ভাষা তৈরির মতো প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য প্রস্তুত করা হয়েছে। ইংরেজিতে একে '''লার্জ ল্যাঙ্গুয়েজ মডেল''' বলা হয়, যার সংক্ষেপিত সংস্করণ- '''এলএলএম'''। ভাষার মডেল হিসাবে, এলএলএম একটি স্ব-তত্ত্বাবধানে এবং অর্ধ-তত্ত্বাবধানে প্রশিক্ষণ প্রক্রিয়া চলাকালীন প্রচুর পরিমাণে পাঠ্য থেকে পরিসংখ্যানগত সম্পর্ক শেখার মাধ্যমে এই ক্ষমতাগুলি অর্জন করে।<ref name=":7">{{ওয়েব উদ্ধৃতি |তারিখ=2019-02-14 |শিরোনাম=Better Language Models and Their Implications |ইউআরএল=https://openai.com/blog/better-language-models/ |ইউআরএল-অবস্থা=live |আর্কাইভের-ইউআরএল= https://web.archive.org/web/20201219132206/https://openai.com/blog/better-language-models/ |আর্কাইভের-তারিখ=2020-12-19 |সংগ্রহের-তারিখ=2019-08-25 |ওয়েবসাইট=OpenAI}}</ref>

সবচেয়ে বড় এবং সবচেয়ে সক্ষম এলএলএম হল [[কৃত্রিম নিউরাল নেটওয়ার্ক]] যা একটি শুধু-ডিকোডার ট্রান্সফরমার-ভিত্তিক স্থাপত্য দিয়ে তৈরি, যা দক্ষ প্রক্রিয়াকরণ এবং বড় আকারের পাঠ্য ডেটা তৈরি করতে সক্ষম করে। আধুনিক মডেলগুলি নির্দিষ্ট কাজের জন্য সূক্ষ্মতর উন্নয়ন করা যেতে পারে বা [[প্রম্পট ইঞ্জিনিয়ারিং]] দ্বারা পরিচালিত হতে পারে।<ref name="few-shot-learners">{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Brown |প্রথমাংশ১=Tom B. |শেষাংশ২=Mann |প্রথমাংশ২=Benjamin |শেষাংশ৩=Ryder |প্রথমাংশ৩=Nick |শেষাংশ৪=Subbiah |প্রথমাংশ৪=Melanie |শেষাংশ৫=Kaplan |প্রথমাংশ৫=Jared |শেষাংশ৬=Dhariwal |প্রথমাংশ৬=Prafulla |শেষাংশ৭=Neelakantan |প্রথমাংশ৭=Arvind |শেষাংশ৮=Shyam |প্রথমাংশ৮=Pranav |শেষাংশ৯=Sastry |প্রথমাংশ৯=Girish |শেষাংশ১০=Askell |প্রথমাংশ১০=Amanda |শেষাংশ১১=Agarwal |প্রথমাংশ১১=Sandhini |শেষাংশ১২=Herbert-Voss |প্রথমাংশ১২=Ariel |শেষাংশ১৩=Krueger |প্রথমাংশ১৩=Gretchen |শেষাংশ১৪=Henighan |প্রথমাংশ১৪=Tom |শেষাংশ১৫=Child |প্রথমাংশ১৫=Rewon |তারিখ=Dec 2020 |সম্পাদক১-শেষাংশ=Larochelle |সম্পাদক১-প্রথমাংশ=H. |সম্পাদক২-শেষাংশ=Ranzato |সম্পাদক২-প্রথমাংশ=M. |সম্পাদক৩-শেষাংশ=Hadsell |সম্পাদক৩-প্রথমাংশ=R. |সম্পাদক৪-শেষাংশ=Balcan |সম্পাদক৪-প্রথমাংশ=M.F. |সম্পাদক৫-শেষাংশ=Lin |সম্পাদক৫-প্রথমাংশ=H. |শিরোনাম=Language Models are Few-Shot Learners |ইউআরএল=https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf |সাময়িকী=Advances in Neural Information Processing Systems |প্রকাশক=Curran Associates, Inc. |খণ্ড=33 |পাতাসমূহ=1877–1901 |last25=Chess |last20=Hesse |first20=Christopher |last21=Chen |first21=Mark |last22=Sigler |first22=Eric |last23=Litwin |first23=Mateusz |last24=Gray |first24=Scott |first26=Jack |first25=Benjamin |last26=Clark |last19=Winter |last27=Berner |first27=Christopher |last28=McCandlish |first28=Sam |last29=Radford |first29=Alec |last30=Sutskever |first30=Ilya |last31=Amodei |first31=Dario |first19=Clemens |first18=Jeffrey |last18=Wu |শেষাংশ১৬=Ramesh |প্রথমাংশ১৬=Aditya |শেষাংশ১৭=Ziegler |প্রথমাংশ১৭=Daniel M. |সংগ্রহের-তারিখ=2023-03-14 |আর্কাইভের-তারিখ=2023-11-17 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231117204007/https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf |ইউআরএল-অবস্থা=live }}</ref> এই মডেলগুলি [[বাক্যতত্ত্ব]], [[বাগর্থবিজ্ঞান]] এবং [[অভিধাব্যবস্থা|অনটোলজি]]<ref>{{cite conference |url=https://2024.eswc-conferences.org/wp-content/uploads/2024/05/77770034.pdf |title=NeOn-GPT: A Large Language Model-Powered Pipeline for Ontology Learning |last1=Fathallah |first1=Nadeen |last2=Das |first2=Arunav |last3=De Giorgis |first3=Stefano |last4=Poltronieri |first4=Andrea |last5=Haase |first5=Peter |last6=Kovriguina |first6=Liubov |date=2024-05-26 |location=Hersonissos, Greece |conference=Extended Semantic Web Conference 2024}}</ref> সম্পর্কিত ভবিষ্যদ্বাণীমূলক শক্তি অর্জন করে যা মানব ভাষার কর্পোরার অন্তর্নিহিত, কিন্তু তারা যে ডেটাতে প্রশিক্ষিত হয় তাতে উপস্থিত ভুলসমূহ এবং পক্ষপাতগুলিও উত্তরাধিকার সূত্রে পায়।<ref name="Manning-2022">{{সাময়িকী উদ্ধৃতি |শেষাংশ=Manning |প্রথমাংশ=Christopher D. |লেখক-সংযোগ=Christopher D. Manning |বছর=2022 |শিরোনাম=Human Language Understanding & Reasoning |ইউআরএল=https://www.amacad.org/publication/human-language-understanding-reasoning |সাময়িকী=Daedalus |খণ্ড=151 |সংখ্যা নং=2 |পাতাসমূহ=127–138 |ডিওআই=10.1162/daed_a_01905 |s2cid=248377870 |doi-access=free |সংগ্রহের-তারিখ=2023-03-09 |আর্কাইভের-তারিখ=2023-11-17 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231117205531/https://www.amacad.org/publication/human-language-understanding-reasoning |ইউআরএল-অবস্থা=live }}</ref>

==ইতিহাস==
[[File:Trends_in_AI_training_FLOP_over_time_(2010-2025).svg|thumb|২০১০-২০২৪ সালে ফ্লপ (প্রতি সেকেন্ডে ফ্লোটিং পয়েন্ট অপারেশন) বনাম প্রকাশনার তারিখে উল্লেখযোগ্য বড় মডেলের প্রশিক্ষণ গণনা। সামগ্রিকভাবে উল্লেখযোগ্য মডেলগুলির জন্য (উপরে বাম), সীমান্ত মডেল (উপরে ডান), শীর্ষ ভাষার মডেল (নীচে বাম) এবং শীর্ষস্থানীয় কোম্পানিগুলির মধ্যে (নীচে ডানদিকে)। এই মডেলগুলির বেশিরভাগই ভাষা মডেল।]]
[[File:Large-scale_AI_training_compute_(FLOP)_vs_Publication_date_(2017-2024).svg|thumb|২০১৭ থেকে ২০২৪ পর্যন্ত উল্লেখযোগ্য বড় এআই মডেলগুলির প্রশিক্ষণের জন্য ব্যবহৃত কম্পিউটেশনাল ক্ষমতা (ফ্লপ) এবং তাদের প্রকাশের তারিখের সম্পর্ক। বেশিরভাগ বড় মডেলই ভাষা মডেল অথবা মাল্টিমোডাল মডেল, যেগুলোর মধ্যে ভাষা বুঝতে এবং তৈরি করতে সক্ষমতা রয়েছে।]]
২০১৭ সালের আগে কিছু ভাষার মডেল ছিল, যা তখন উপলব্ধ ক্ষমতার তুলনায় বড় ছিল। ১৯৯০-এর দশকে, আইবিএম অ্যালাইনমেন্ট মডেলগুলি পরিসংখ্যানগত ভাষা মডেলিংয়ের পথপ্রদর্শক। ২০০১ সালে ৩০ কোটি শব্দের উপর প্রশিক্ষিত একটি মসৃণ এন-গ্রাম মডেল সেই সময়ে অত্যাধুনিক বিভ্রান্তি অর্জন করেছিল।<ref>{{Citation |last=Goodman |first=Joshua |title=A Bit of Progress in Language Modeling |date=2001-08-09 |arxiv=cs/0108005 |bibcode=2001cs........8005G }}</ref> ২০০০-এর দশকে, যখন ইন্টারনেট ব্যবহার প্রচলিত হয়ে ওঠে, কিছু গবেষক ইন্টারনেট-স্কেল ল্যাঙ্গুয়েজ ডেটাসেট ("কর্পাস হিসেবে ওয়েব"<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Kilgarriff |প্রথমাংশ১=Adam |শেষাংশ২=Grefenstette |প্রথমাংশ২=Gregory |তারিখ=September 2003 |শিরোনাম=Introduction to the Special Issue on the Web as Corpus |ইউআরএল=https://direct.mit.edu/coli/article/29/3/333-347/1816 |সাময়িকী=Computational Linguistics |খণ্ড=29 |সংখ্যা নং=3 |পাতাসমূহ=333–347 |ডিওআই=10.1162/089120103322711569 |issn=0891-2017}}</ref>) তৈরি করেছিলেন, যার ভিত্তিতে তারা পরিসংখ্যানগত ভাষার মডেলগুলিকে প্রশিক্ষণ দিয়েছিলেন।<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Banko |প্রথমাংশ১=Michele |শেষাংশ২=Brill |প্রথমাংশ২=Eric |তারিখ=2001 |শিরোনাম=Scaling to very very large corpora for natural language disambiguation |ইউআরএল=http://dx.doi.org/10.3115/1073012.1073017 |সাময়িকী=Proceedings of the 39th Annual Meeting on Association for Computational Linguistics - ACL '01 |পাতাসমূহ=26–33 |অবস্থান=Morristown, NJ, USA |প্রকাশক=Association for Computational Linguistics |ডিওআই=10.3115/1073012.1073017}}</ref><ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Resnik |প্রথমাংশ১=Philip |শেষাংশ২=Smith |প্রথমাংশ২=Noah A. |তারিখ=September 2003 |শিরোনাম=The Web as a Parallel Corpus |ইউআরএল=https://direct.mit.edu/coli/article/29/3/349-380/1809 |সাময়িকী=Computational Linguistics |খণ্ড=29 |সংখ্যা নং=3 |পাতাসমূহ=349–380 |ডিওআই=10.1162/089120103322711578 |issn=0891-2017 |doi-access=free |সংগ্রহের-তারিখ=2024-06-07 |আর্কাইভের-তারিখ=2024-06-07 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240607172811/https://direct.mit.edu/coli/article/29/3/349-380/1809 |ইউআরএল-অবস্থা=live }}</ref> ২০০৯ সালে, বেশিরভাগ ভাষা প্রক্রিয়াকরণের কাজগুলিতে পরিসংখ্যানগত ভাষার মডেলগুলি প্রতীকী ভাষার মডেলগুলির উপর আধিপত্য বিস্তার করে, কারণ তারা দরকারীভাবে বড় ডেটাসেটগুলি গ্রহণ করতে সক্ষম।<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Halevy |প্রথমাংশ১=Alon |শেষাংশ২=Norvig |প্রথমাংশ২=Peter |শেষাংশ৩=Pereira |প্রথমাংশ৩=Fernando |তারিখ=March 2009 |শিরোনাম=The Unreasonable Effectiveness of Data |ইউআরএল=https://ieeexplore.ieee.org/document/4804817 |সাময়িকী=IEEE Intelligent Systems |খণ্ড=24 |সংখ্যা নং=2 |পাতাসমূহ=8–12 |ডিওআই=10.1109/MIS.2009.36 |issn=1541-1672}}</ref>

২০১২ সালের দিকে যখন নিউরাল নেটওয়ার্কগুলি চিত্র প্রক্রিয়াকরণের ক্ষেত্রে প্রাধান্য পেতে শুরু করে,<ref>{{সাময়িকী উদ্ধৃতি | ডিওআই=10.3390/rs13224712 | doi-access=free | শিরোনাম=Review of Image Classification Algorithms Based on Convolutional Neural Networks | তারিখ=2021 | শেষাংশ১=Chen | প্রথমাংশ১=Leiyu | শেষাংশ২=Li | প্রথমাংশ২=Shaobo | শেষাংশ৩=Bai | প্রথমাংশ৩=Qiang | শেষাংশ৪=Yang | প্রথমাংশ৪=Jing | শেষাংশ৫=Jiang | প্রথমাংশ৫=Sanlong | শেষাংশ৬=Miao | প্রথমাংশ৬=Yanming | সাময়িকী=Remote Sensing | খণ্ড=13 | সংখ্যা নং=22 | পাতা=4712 | বিবকোড=2021RemS...13.4712C }}</ref> তখন এগুলিকে ভাষা মডেলিংয়ের ক্ষেত্রেও ব্যবহার করা হতে থাকে। ২০১৬ সালে গুগল তার অনুবাদ সেবা নিউরাল মেশিন ট্রান্সলেশনে (এনএমটি) রূপান্তরিত করে। এটি ট্রান্সফরমার প্রযুক্তির আগের সময়ের ঘটনা এবং তখন এটি করা হয়েছিল সিকুয়েন্স টু সিকুয়েন্স (seq2seq) গভীর এলএসটিএম নেটওয়ার্কের মাধ্যমে।

২০১৭ সালের নিউরআইপিএস কনফারেন্স, গুগলের গবেষকরা তাদের গুরুত্বপূর্ণ প্রবন্ধ "মনোযোগ ইজ অল ইউ নিড" এ ট্রান্সফরমার স্থাপত্যটি উপস্থাপন করেন। এই প্রবন্ধের লক্ষ্য ছিল ২০১৪ সালের সিক২সিক (seq2seq) প্রযুক্তির উন্নতি করা।<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Vaswani |প্রথমাংশ১=Ashish |author1-link=Ashish Vaswani |শেষাংশ২=Shazeer |প্রথমাংশ২=Noam |শেষাংশ৩=Parmar |প্রথমাংশ৩=Niki |শেষাংশ৪=Uszkoreit |প্রথমাংশ৪=Jakob |শেষাংশ৫=Jones |প্রথমাংশ৫=Llion |শেষাংশ৬=Gomez |প্রথমাংশ৬=Aidan N |author6-link=Aidan Gomez |শেষাংশ৭=Kaiser |প্রথমাংশ৭=Łukasz |শেষাংশ৮=Polosukhin |প্রথমাংশ৮=Illia |শিরোনাম=Attention is All you Need |সাময়িকী=Advances in Neural Information Processing Systems |তারিখ=2017 |খণ্ড=30 |ইউআরএল=https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf |প্রকাশক=Curran Associates, Inc. |সংগ্রহের-তারিখ=2024-01-21 |আর্কাইভের-তারিখ=2024-02-21 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240221141113/https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf |ইউআরএল-অবস্থা=live }}</ref> এটি মূলত ২০১৪ সালে বাহদানাউ এট আল. দ্বারা ডেভেলপ করা মনোযোগ পদ্ধতির উপর ভিত্তি করে ছিল।<ref>{{cite arXiv |last1=Bahdanau |first1=Dzmitry |last2=Cho |first2=Kyunghyun |last3=Bengio |first3=Yoshua |title=Neural Machine Translation by Jointly Learning to Align and Translate |date=2014 |class=cs.CL |eprint=1409.0473}}</ref> পরবর্তী বছর ২০১৮ সালে, বার্ট উপস্থাপিত হয় এবং দ্রুত "সর্বব্যাপী" হয়ে ওঠে।<ref>{{সাময়িকী উদ্ধৃতি|শেষাংশ১=Rogers|প্রথমাংশ১=Anna|শেষাংশ২=Kovaleva|প্রথমাংশ২=Olga|শেষাংশ৩=Rumshisky|প্রথমাংশ৩=Anna|তারিখ=2020|শিরোনাম=A Primer in BERTology: What We Know About How BERT Works|ইউআরএল=https://aclanthology.org/2020.tacl-1.54|সাময়িকী=Transactions of the Association for Computational Linguistics|খণ্ড=8|পাতাসমূহ=842–866|ডিওআই=10.1162/tacl_a_00349|arxiv=2002.12327|s2cid=211532403|সংগ্রহের-তারিখ=2024-01-21|আর্কাইভের-তারিখ=2022-04-03|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20220403103310/https://aclanthology.org/2020.tacl-1.54/|ইউআরএল-অবস্থা=live}}</ref> যদিও মূল ট্রান্সফরমারে এনকোডার এবং ডিকোডার উভয় ব্লক ছিল, কিন্তু বার্ট একটি শুধু-এনকোডার মডেল।

যদিও ২০১৮ সালে শুধু-ডিকোডার [[জিপিটি-১]] উপস্থাপন করা হয়েছিল, ২০১৯ সালে জিপিটি-২ ব্যাপক মনোযোগ আকর্ষণ করে কারণ [[ওপেনএআই]] প্রথমে এটি জনসাধারণের কাছে মুক্তি দেওয়ার জন্য খুব শক্তিশালী মনে করেছিল, ক্ষতিকর ব্যবহারের আশঙ্কায়।<ref>{{ওয়েব উদ্ধৃতি |ইউআরএল=https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction |শিরোনাম=New AI fake text generator may be too dangerous to release, say creators |শেষাংশ=Hern |প্রথমাংশ=Alex |কর্ম=[[The Guardian]] |তারিখ=14 February 2019 |সংগ্রহের-তারিখ=20 January 2024 |আর্কাইভের-তারিখ=14 February 2019 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20190214173112/https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction |ইউআরএল-অবস্থা=live }}</ref> ২০২০ সালে [[জিপিটি-৩]] আরও একধাপ এগিয়ে গিয়ে {{as of|2024|lc=y}} শুধুমাত্র এপিআই মাধ্যমে পাওয়া যাচ্ছে এবং মডেলটি স্থানীয়ভাবে ডাউনলোড করে চালানোর সুযোগ নেই। তবে, ২০২২ সালে ব্যবহারকারীদের জন্য উন্মুক্ত ব্রাউজার-ভিত্তিক [[চ্যাটজিপিটি]] সাধারণ জনগণের আগ্রহ আকর্ষণ করে এবং কিছু মিডিয়া হাইপ ও অনলাইনে গুঞ্জন সৃষ্টি করে।<ref>{{ওয়েব উদ্ধৃতি |ইউআরএল=https://www.euronews.com/next/2023/11/30/chatgpt-a-year-on-3-ways-the-ai-chatbot-has-completely-changed-the-world-in-12-months |শিরোনাম=ChatGPT a year on: 3 ways the AI chatbot has completely changed the world in 12 months |লেখক=<!--Not stated--> |তারিখ=November 30, 2023 |প্রকাশক=[[Euronews]] |সংগ্রহের-তারিখ=January 20, 2024 |আর্কাইভের-তারিখ=January 14, 2024 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240114025250/https://www.euronews.com/next/2023/11/30/chatgpt-a-year-on-3-ways-the-ai-chatbot-has-completely-changed-the-world-in-12-months |ইউআরএল-অবস্থা=live }}</ref> ২০২৩ সালের [[জিপিটি-৪]] তার বৃদ্ধি পাওয়া নির্ভুলতা এবং বহুমাত্রিক সক্ষমতার জন্য প্রশংসিত হয় এবং একে "পবিত্র রহস্য" হিসেবে বিবেচনা করা হয়।<ref>{{ওয়েব উদ্ধৃতি |ইউআরএল=https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/ |শিরোনাম=GPT-4 is bigger and better than ChatGPT—but OpenAI won't say why |শেষাংশ=Heaven |প্রথমাংশ=Will |তারিখ=March 14, 2023 |প্রকাশক=[[MIT Technology Review]] |সংগ্রহের-তারিখ=January 20, 2024 |আর্কাইভের-তারিখ=March 17, 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230317224201/https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/ |ইউআরএল-অবস্থা=live }}</ref> ওপেনএআই জিপিটি-৪ এর উচ্চ-স্তরের স্থাপত্য এবং [[প্যারামিটার]] সংখ্যা প্রকাশ করেনি।[[File:The-Transformer-model-architecture.png|thumb|upright=1.3|মূল কাগজ থেকে ট্রান্সফরমার মডেলের প্রধান উপাদানগুলির একটি চিত্র, যেখানে বহুমুখী মনোযোগের পরে (আগের পরিবর্তে) স্তরগুলি স্বাভাবিক করা হয়েছিল]]প্রতিযোগিতামূলক ভাষার মডেলগুলি বেশিরভাগ ক্ষেত্রেই জিপিটি সিরিজের সমান হতে চেষ্টা করেছে, কমপক্ষে প্যারামিটার সংখ্যা অনুযায়ী।<ref>{{ওয়েব উদ্ধৃতি|ইউআরএল=https://ourworldindata.org/grapher/artificial-intelligence-parameter-count?time=2017-09-05..latest|শিরোনাম=Parameters in notable artificial intelligence systems|লেখক=<!--Not stated-->|তারিখ=November 30, 2023|ওয়েবসাইট=ourworldindata.org|সংগ্রহের-তারিখ=January 20, 2024}}</ref>

২০২২ সাল থেকে, উৎস-উপলব্ধ মডেলগুলি জনপ্রিয়তা লাভ করছে, বিশেষ করে প্রথমে ব্লুম এবং এলএলএমএ এর মাধ্যমে, যদিও উভয়ই ব্যবহারের ক্ষেত্রে কিছু সীমাবদ্ধতা রয়েছে। মিস্ট্রাল কৃত্রিম বুদ্ধিমত্তার মডেল মিস্ট্রাল ৭বি এবং মিক্সট্রাল ৮এক্স৭বি অধিক নমনীয় অ্যাপাচি লাইসেন্সে রয়েছে। {{As of|2024|6}}, লামা ৩ ৭০ বিলিয়ন প্যারামিটার মডেলের নির্দেশনা অনুযায়ী সুনির্দিষ্টভাবে টিউন করা ভেরিয়েন্ট হচ্ছে সবচেয়ে শক্তিশালী ওপেন ভাষার মডেল, যা এলএমএসওয়াইএস চ্যাটবট এরিনা লিডারবোর্ড অনুযায়ী জিপিটি-৩.৫ এর চেয়ে শক্তিশালী, তবে জিপিটি-৪ এর চেয়ে কম শক্তিশালী।<ref>{{ওয়েব উদ্ধৃতি|ইউআরএল=https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard|শিরোনাম=LMSYS Chatbot Arena Leaderboard|লেখক=<!--Not stated-->|ওয়েবসাইট=huggingface.co|সংগ্রহের-তারিখ=June 12, 2024|আর্কাইভের-তারিখ=June 10, 2024|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240610162906/https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard|ইউআরএল-অবস্থা=live}}</ref>

২০২৪ সালের হিসাব অনুযায়ী, সবচেয়ে বড় এবং শক্তিশালী মডেলগুলি সবই ট্রান্সফরমার স্থাপত্যের উপর ভিত্তি করে। কিছু সাম্প্রতিক বাস্তবায়ন অন্য স্থাপত্যের উপর ভিত্তি করে তৈরি, যেমন [[পুনরাবৃত্ত স্নায়ু নেটওয়ার্ক]] ভেরিয়েন্ট এবং মাম্বা (একটি স্টেট স্পেস মডেল)।<ref>{{cite arXiv |eprint=2305.13048 |last1=Peng |first1=Bo |last2=Alcaide |first2=Eric |last3=Anthony |first3=Quentin |last4=Albalak |first4=Alon |last5=Arcadinho |first5=Samuel |last6=Biderman |first6=Stella |last7=Cao |first7=Huanqi |last8=Cheng |first8=Xin |last9=Chung |first9=Michael |last10=Grella |first10=Matteo |author11=Kranthi Kiran GV |last12=He |first12=Xuzheng |last13=Hou |first13=Haowen |last14=Lin |first14=Jiaju |last15=Kazienko |first15=Przemyslaw |last16=Kocon |first16=Jan |last17=Kong |first17=Jiaming |last18=Koptyra |first18=Bartlomiej |last19=Lau |first19=Hayden |author20=Krishna Sri Ipsit Mantri |last21=Mom |first21=Ferdinand |last22=Saito |first22=Atsushi |last23=Song |first23=Guangyu |last24=Tang |first24=Xiangru |last25=Wang |first25=Bolun |last26=Wind |first26=Johan S. |last27=Wozniak |first27=Stanislaw |last28=Zhang |first28=Ruichong |last29=Zhang |first29=Zhenyuan |last30=Zhao |first30=Qihang |title=RWKV: Reinventing RNNS for the Transformer Era |date=2023 |class=cs.CL |display-authors=1 }}</ref><ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=Merritt |প্রথমাংশ=Rick |তারিখ=2022-03-25 |শিরোনাম=What Is a Transformer Model? |ইউআরএল=https://blogs.nvidia.com/blog/2022/03/25/what-is-a-transformer-model/ |সংগ্রহের-তারিখ=2023-07-25 |ওয়েবসাইট=NVIDIA Blog |আর্কাইভের-তারিখ=2023-11-17 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231117203924/https://blogs.nvidia.com/blog/what-is-a-transformer-model/ |ইউআরএল-অবস্থা=live }}</ref><ref>{{Citation |last1=Gu |first1=Albert |title=Mamba: Linear-Time Sequence Modeling with Selective State Spaces |date=2023-12-01 |arxiv=2312.00752 |last2=Dao |first2=Tri}}</ref>

== ডেটাসেট প্রক্রিয়াকরণ ==
{{আরও দেখুন|মেশিন-লার্নিং গবেষণার জন্য ডেটাসেটের তালিকা#ইন্টারনেট}}

===টোকেনাইজেশন===
{{Anchor|Tokenization}}

যেহেতু [[মেশিন লার্নিং]] অ্যালগরিদমগুলি সংখ্যা প্রক্রিয়া করে, পাঠ্যকে সংখ্যায় রূপান্তর করা প্রয়োজন হয়। প্রথম ধাপে, একটি শব্দকোষ নির্ধারণ করা হয়, তারপর প্রতিটি শব্দকোষ ভুক্তির জন্য এককভাবে কিন্তু এলোমেলোভাবে পূর্ণসংখ্যার সূচক নির্ধারিত হয়। এরপর পূর্ণসংখ্যার সূচকের সাথে একটি এমবেডিং যুক্ত করা হয়। অ্যালগরিদমগুলির মধ্যে রয়েছে বাইট-পেয়ার এনকোডিং (বিপিই) এবং শব্দখন্ড। এছাড়া কিছু বিশেষ টোকেন রয়েছে যা কন্ট্রোল ক্যারেক্টার হিসেবে কাজ করে, যেমন [MASK] মাক্সড আউট টোকেন (যা বার্টে ব্যবহৃত হয়), এবং [UNK] ("অজানা") শব্দকোষে না পাওয়া অক্ষরের জন্য ব্যবহৃত হয়। এছাড়া কিছু বিশেষ চিহ্ন রয়েছে যা বিশেষ পাঠ্য ফরম্যাটিং নির্দেশ করতে ব্যবহৃত হয়। উদাহরণস্বরূপ, "Ġ" রোবার্টা এবং জিপিটিতে পূর্ববর্তী সাদা স্থান নির্দেশ করে। "##" বার্টে পূর্ববর্তী শব্দের ধারাবাহিকতা নির্দেশ করে।<ref>{{Citation |last1=Kaushal |first1=Ayush |title=What do tokens know about their characters and how do they know it? |date=2022-06-06 |arxiv=2206.02608 |last2=Mahowald |first2=Kyle}}</ref>

উদাহরণস্বরূপ, জিপিটি-৩ (পুরাতন) <small><code>tokenizer: texts -> series of numerical "tokens"</code></small> কে ভেঙ্গে বিপিই টোকেনাইজার ব্যবহার করে নিম্নরূপে ব্যবহার করবে:
{| cellpadding="0;" cellspacing="0;" style="border:1px solid black"
|-
| style="border-left: 2px green; border-right: 2px green" |token 
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |izer 
| style="border-left: 2px green; border-right: 2px green" |:
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |&nbsp;texts
| style="border-left: 2px green; border-right: 2px green" |&nbsp;->
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |series 
| style="border-left: 2px green; border-right: 2px green" |&nbsp;of
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |&nbsp;numerical 
| style="border-left: 2px green; border-right: 2px green" |&nbsp;" 
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |t
| style="border-left: 2px green; border-right: 2px green" |ok
| style="background-color: grey; color: white; border-left: 2px green; border-right: 2px green" |ens
| style="border-left: 2px green; border-right: 2px green" |" 
|}

টোকেনাইজেশন ডেটাসেটগুলিকে [[উপাত্ত সংকোচন|সংকুচিতও]] করে। যেহেতু সাধারণত এলএলএমগুলো ইনপুট হিসেবে এমন একটি অ্যারে প্রয়োজন যা অসমতল না হয়, ছোট পাঠ্যগুলোকে "প্যাড" করা হয় যতক্ষণ না সেগুলো সবচেয়ে দীর্ঘ পাঠ্যের দৈর্ঘ্য মেলে। প্রতিটি শব্দের জন্য গড়ে কতটুকু টোকেন প্রয়োজন, তা ডেটাসেটের ভাষার উপর নির্ভর করে।<ref>{{ওয়েব উদ্ধৃতি|ইউআরএল=https://blog.yenniejun.com/p/all-languages-are-not-created-tokenized|শিরোনাম=All languages are NOT created (tokenized) equal|লেখক=Yennie Jun|তারিখ=2023-05-03|সংগ্রহের-তারিখ=2023-08-17|উক্তি=In other words, to express the same sentiment, some languages require up to 10 times more tokens.|ওয়েবসাইট=Language models cost much more in some languages than others|আর্কাইভের-তারিখ=2023-08-17|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230817165705/https://blog.yenniejun.com/p/all-languages-are-not-created-tokenized|ইউআরএল-অবস্থা=dead}}</ref><ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Petrov |প্রথমাংশ১=Aleksandar |শেষাংশ২=Malfa |প্রথমাংশ২=Emanuele La |শেষাংশ৩=Torr |প্রথমাংশ৩=Philip |শেষাংশ৪=Bibi |প্রথমাংশ৪=Adel |তারিখ=June 23, 2023 |শিরোনাম=Language Model Tokenizers Introduce Unfairness Between Languages |ইউআরএল=https://openreview.net/forum?id=Pj4YYuxTq9 |সাময়িকী=NeurIPS |arxiv=2305.15425 |মাধ্যম=openreview.net |সংগ্রহের-তারিখ=September 16, 2023 |আর্কাইভের-তারিখ=December 15, 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231215212906/https://openreview.net/forum?id=Pj4YYuxTq9 |ইউআরএল-অবস্থা=live }}</ref>

====বিপিই====
{{মূল নিবন্ধ|বাইট পেয়ার এনকোডিং}}
একটি উদাহরণ হিসেবে, বাইট-পেয়ার এনকোডিং ভিত্তিক একটি টোকেনাইজার বিবেচনা করা যাক। প্রথম ধাপে, সমস্ত অনন্য অক্ষর (সাদা স্থান এবং [[যতিচিহ্ন]]) একটি প্রাথমিক এন-গ্রাম সেট (অর্থাৎ, প্রাথমিক ইউনিগ্রাম সেট) হিসেবে বিবেচিত হয়। পরবর্তী ধাপে, সবচেয়ে বেশি উপস্থিত থাকা দুইটি পাশবর্তী অক্ষর একত্রিত হয়ে একটি বাই-গ্রামে পরিণত হয় এবং সেই জোড়া দিয়ে সমস্ত উদাহরণ প্রতিস্থাপিত হয়। তারপর, যেসব পূর্ববর্তী মিলিত এন-গ্রাম একে অপরের সাথে সবচেয়ে বেশি মিলিত হয়, সেগুলো আবার একত্রিত হয়ে আরও দীর্ঘ এন-গ্রামে পরিণত হয়, যতক্ষণ না একটি নির্দিষ্ট আকারের শব্দকোষ পাওয়া যায় ([[জিপিটি-৩]] এর ক্ষেত্রে, আকারটি ৫০২৫৭)।<ref name="xbiWb">{{ওয়েব উদ্ধৃতি |শিরোনাম=OpenAI API |ইউআরএল=https://platform.openai.com/ |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230423211308/https://platform.openai.com/tokenizer |আর্কাইভের-তারিখ=April 23, 2023 |সংগ্রহের-তারিখ=2023-04-30 |ওয়েবসাইট=platform.openai.com}}</ref> টোকেনাইজার প্রশিক্ষিত হওয়ার পর, যে কোনো পাঠ্য এটিতে টোকেনাইজ করা যেতে পারে, যতক্ষণ না এতে প্রাথমিক ইউনিগ্রাম সেটে না পাওয়া অক্ষর থাকে।<ref name="2022Book_">{{বই উদ্ধৃতি |শেষাংশ১=Paaß |প্রথমাংশ১=Gerhard |শিরোনাম=Foundation Models for Natural Language Processing |শেষাংশ২=Giesselbach |প্রথমাংশ২=Sven |তারিখ=2022 |আইএসবিএন=9783031231902 |ধারাবাহিক=Artificial Intelligence: Foundations, Theory, and Algorithms |পাতাসমূহ=19–78 |অধ্যায়=Pre-trained Language Models |ডিওআই=10.1007/978-3-031-23190-2_2 |সংগ্রহের-তারিখ=3 August 2023 |অধ্যায়ের-ইউআরএল=https://link.springer.com/chapter/10.1007/978-3-031-23190-2_2 |আর্কাইভের-তারিখ=3 August 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230803212329/https://link.springer.com/chapter/10.1007/978-3-031-23190-2_2 |ইউআরএল-অবস্থা=live }}</ref>

==== সমস্যা ====
একটি টোকেন শব্দকোষ যা মূলত ইংরেজি করপাস থেকে নিষ্কৃত ফ্রিকোয়েন্সির ভিত্তিতে তৈরি, গড়ে একটি ইংরেজি শব্দের জন্য যতটা সম্ভব কম টোকেন ব্যবহার করে। তবে, এমন একটি ইংরেজি-অপটিমাইজড টোকেনাইজার দ্বারা অন্য কোনো ভাষার গড়ে একটি শব্দকে কোড করা হলে, তা সাবঅপটিমাল পরিমাণ টোকেন-এ বিভক্ত হয়ে যায়। উদাহরণস্বরূপ, জিপিটি-২ টোকেনাইজার কিছু ভাষার জন্য শব্দপ্রতি ১৫ গুণ বেশি টোকেন ব্যবহার করতে পারে, যেমন [[মিয়ানমার|মিয়ানমারের]] শান ভাষার জন্য। এমনকি আরও ব্যাপক ব্যবহৃত ভাষাগুলোর মতো পর্তুগিজ এবং জার্মান ভাষার জন্য ইংরেজির তুলনায় "৫০% বেশি" টোকেন ব্যবহার করতে হয়।<ref>{{cite arXiv |eprint=2305.15425 |last1=Petrov |first1=Aleksandar |author2=Emanuele La Malfa |last3=Torr |first3=Philip H. S. |last4=Bibi |first4=Adel |title=Language Model Tokenizers Introduce Unfairness Between Languages |date=2023 |class=cs.CL }}</ref>

লালচে (গ্রিডি) টোকেনাইজেশন পাঠ্য সম্পূর্ণ করার ক্ষেত্রে সূক্ষ্ম সমস্যাও সৃষ্টি করে।<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=Lundberg |প্রথমাংশ=Scott |তারিখ=2023-12-12 |শিরোনাম=The Art of Prompt Design: Prompt Boundaries and Token Healing |ইউআরএল=https://towardsdatascience.com/the-art-of-prompt-design-prompt-boundaries-and-token-healing-3b2448b0be38 |সংগ্রহের-তারিখ=2024-08-05 |ওয়েবসাইট=Medium |ভাষা=en}}</ref>

===ডেটাসেট পরিষ্কারকরণ===
{{মূল নিবন্ধ|ডেটা পরিশোধন}}
এলএলএম প্রশিক্ষণের প্রেক্ষাপটে, সাধারণত ডেটাসেটগুলো পরিষ্কার করা হয়। যাতে বিপজ্জনক অংশগুলো বাদ দেওয়া হয়, নিম্নমানের ডেটা ফেলে দেওয়া হয় এবং ডুপ্লিকেশন দূর করা হয়।<ref name="aYNg4">{{Cite arXiv |eprint=2104.08758 |class=cs.CL |first1=Jesse |last1=Dodge |first2=Maarten |last2=Sap |title=Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus |last3=Marasović |first3=Ana |last4=Agnew |first4=William |last5=Ilharco |first5=Gabriel |last6=Groeneveld |first6=Dirk |last7=Mitchell |first7=Margaret |last8=Gardner |first8=Matt |year=2021}}</ref> পরিষ্কার করা ডেটাসেট প্রশিক্ষণের দক্ষতা বাড়াতে পারে এবং পরবর্তী কার্যকারিতায় উন্নতি ঘটাতে পারে।<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Lee |প্রথমাংশ১=Katherine |শেষাংশ২=Ippolito |প্রথমাংশ২=Daphne |শেষাংশ৩=Nystrom |প্রথমাংশ৩=Andrew |শেষাংশ৪=Zhang |প্রথমাংশ৪=Chiyuan |শেষাংশ৫=Eck |প্রথমাংশ৫=Douglas |শেষাংশ৬=Callison-Burch |প্রথমাংশ৬=Chris |শেষাংশ৭=Carlini |প্রথমাংশ৭=Nicholas |তারিখ=May 2022 |শিরোনাম=Deduplicating Training Data Makes Language Models Better |ইউআরএল=https://aclanthology.org/2022.acl-long.577.pdf |সাময়িকী=Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics |খণ্ড=1: Long Papers |পাতাসমূহ=8424–8445 |ডিওআই=10.18653/v1/2022.acl-long.577}}</ref><ref>{{Citation |last1=Li |first1=Yuanzhi |title=Textbooks Are All You Need II: phi-1.5 technical report |date=2023-09-11 |arxiv=2309.05463 |last2=Bubeck |first2=Sébastien |last3=Eldan |first3=Ronen |last4=Del Giorno |first4=Allie |last5=Gunasekar |first5=Suriya |last6=Lee |first6=Yin Tat}}</ref> একটি প্রশিক্ষিত এলএলএম অন্য একটি এলএলএম প্রশিক্ষণের জন্য ডেটাসেট পরিষ্কার করতে ব্যবহার করা যেতে পারে।<ref>{{cite arXiv|last1=Lin |first1=Zhenghao |title=Rho-1: Not All Tokens Are What You Need |date=2024-04-11 |eprint=2404.07965 |last2=Gou |first2=Zhibin |last3=Gong |first3=Yeyun |last4=Liu |first4=Xiao |last5=Shen |first5=Yelong |last6=Xu |first6=Ruochen |last7=Lin |first7=Chen |last8=Yang |first8=Yujiu |last9=Jiao |first9=Jian|class=cs.CL }}</ref>

ওয়েবে এলএলএম-উৎপন্ন বিষয়বস্তুের পরিমাণ বাড়ানোর পাশাপাশি ভবিষ্যতে ডেটা পরিষ্কারের প্রক্রিয়ায় এমন বিষয়বস্তু ছাঁকনি করা অন্তর্ভুক্ত হতে পারে। এলএলএম-উৎপন্ন বিষয়বস্তু সমস্যা সৃষ্টি করতে পারে যদি বিষয়বস্তুটি মানুষের লেখা পাঠ্যের মতো হয় (যা ছাঁকনি করা কঠিন করে তোলে) কিন্তু এর গুণমান কম হয় (যা এতে প্রশিক্ষিত মডেলগুলোর কার্যকারিতা হ্রাস করে)।<ref name="qbFw1">{{Cite arXiv |eprint=2005.14165 |class=cs.CL |first1=Tom B. |last1=Brown |first2=Benjamin |last2=Mann |title=Language Models are Few-Shot Learners |last3=Ryder |first3=Nick |last4=Subbiah |first4=Melanie |last5=Kaplan |first5=Jared |last6=Dhariwal |first6=Prafulla |last7=Neelakantan |first7=Arvind |last8=Shyam |first8=Pranav |last9=Sastry |first9=Girish |last10=Askell |first10=Amanda |last11=Agarwal |first11=Sandhini |last12=Herbert-Voss |first12=Ariel |last13=Krueger |first13=Gretchen |last14=Henighan |first14=Tom |last15=Child |first15=Rewon |last16=Ramesh |first16=Aditya |last17=Ziegler |first17=Daniel M. |last18=Wu |first18=Jeffrey |last19=Winter |first19=Clemens |last20=Hesse |first20=Christopher |last21=Chen |first21=Mark |last22=Sigler |first22=Eric |last23=Litwin |first23=Mateusz |last24=Gray |first24=Scott |last25=Chess |first25=Benjamin |last26=Clark |first26=Jack |last27=Berner |first27=Christopher |last28=McCandlish |first28=Sam |last29=Radford |first29=Alec |last30=Sutskever |first30=Ilya |year=2020 |display-authors=1}}</ref>

=== সিন্থেটিক ডেটা ===
{{মূল নিবন্ধ|সিন্থেটিক ডেটা}}
সবচেয়ে বড় ভাষা মডেলের প্রশিক্ষণের জন্য স্বাভাবিকভাবে উপলব্ধের চেয়ে বেশি ভাষাগত ডেটার প্রয়োজন হতে পারে অথবা স্বাভাবিকভাবে প্রাপ্ত ডেটা অপর্যাপ্ত মানের হতে পারে। সেক্ষেত্রে সিন্থেটিক ডেটা ব্যবহার করা যেতে পারে। [[মাইক্রোসফট কর্পোরেশন|মাইক্রোসফটের]] ফি (Phi) সিরিজের এলএলএমগুলি অন্য এলএলএম দ্বারা তৈরি পাঠ্যপুস্তকের মতো ডেটার উপর প্রশিক্ষিত।<ref>{{cite arXiv |last1=Abdin |first1=Marah |title=Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone |date=2024-04-23 |eprint=2404.14219 |last2=Jacobs |first2=Sam Ade |last3=Awan |first3=Ammar Ahmad |last4=Aneja |first4=Jyoti |last5=Awadallah |first5=Ahmed |last6=Awadalla |first6=Hany |last7=Bach |first7=Nguyen |last8=Bahree |first8=Amit |last9=Bakhtiari |first9=Arash|class=cs.CL }}</ref>

== প্রশিক্ষণ ও স্থাপত্য ==
{{আরও দেখুন|ফাইন-টিউনিং (মেশিন লার্নিং)}}

=== মানুষের প্রতিক্রিয়া থেকে উন্নততর প্রশিক্ষণ (আরএলএইচএফ) ===
{{মূল নিবন্ধ|মানুষের প্রতিক্রিয়া থেকে উন্নততর প্রশিক্ষণ}}
মানুষের প্রতিক্রিয়া থেকে উন্নততর প্রশিক্ষণ বা রিইনফোর্সমেন্ট লার্নিং ফ্রম হিউম্যান ফিডব্যাক (আরএলএইচএফ) [[অ্যালগরিদম|অ্যালগরিদমের]] মাধ্যমে (যেমন- প্রক্সিমাল পলিসি অপ্টিমাইজেশন) মানুষের পছন্দের ডেটাসেটের উপর ভিত্তি করে একটি মডেলকে আরও সূক্ষ্মভাবে উন্নত করতে ব্যবহৃত হয়।<ref name="instructGPT-paper">{{Cite arXiv |eprint=2203.02155 |class=cs.CL |first1=Long |last1=Ouyang |first2=Jeff |last2=Wu |title=Training language models to follow instructions with human feedback |date=2022 |last3=Jiang |first3=Xu |last4=Almeida |first4=Diogo |last5=Wainwright |first5=Carroll L. |last6=Mishkin |first6=Pamela |last7=Zhang |first7=Chong |last8=Agarwal |first8=Sandhini |last9=Slama |first9=Katarina |last10=Ray |first10=Alex |last11=Schulman |first11=John |last12=Hilton |first12=Jacob |last13=Kelton |first13=Fraser |last14=Miller |first14=Luke |last15=Simens |first15=Maddie |last16=Askell |first16=Amanda |last17=Welinder |first17=Peter |last18=Christiano |first18=Paul |last19=Leike |first19=Jan |last20=Lowe |first20=Ryan}}</ref>

=== নির্দেশনা উন্নয়ন ===
"স্ব-নির্দেশনা" পদ্ধতি ব্যবহার করে এলএলএমগুলো সঠিক উত্তর তৈরি করতে সক্ষম হয়েছে। এটি পূর্বের যে কোন সরল বা ভুল উত্তর প্রতিস্থাপন করে। এটি শুরু হয় কিছু মানব-উৎপন্ন সংশোধনী থেকে। উদাহরণস্বরূপ, যদি নির্দেশনা হয় "হ্যামলেটের প্রধান থিমগুলো সম্পর্কে একটি প্রবন্ধ লিখুন", তবে প্রাথমিকভাবে এলএলএম যে ভুল উত্তরটি দিতে পারে তা হতে পারে, "যদি আপনি ১৭ মার্চের পর প্রবন্ধটি জমা দেন, তবে প্রতিদিন দেরির জন্য আপনার গ্রেড ১০% কমিয়ে দেওয়া হবে," যা মূলত প্রবন্ধের পরিবর্তে কোনও সাধারণ নিয়মের উপর ভিত্তি করে লেখা হয়, কারণ কর্পাসে এই ধরনের শব্দচয়ন বেশি পাওয়া যায়।<ref name="self-instruct-paper">{{Cite arXiv |eprint=2212.10560 |class=cs.CL |first1=Yizhong |last1=Wang |first2=Yeganeh |last2=Kordi |title=Self-Instruct: Aligning Language Model with Self Generated Instructions |date=2022 |last3=Mishra |first3=Swaroop |last4=Liu |first4=Alisa |last5=Smith |first5=Noah A. |last6=Khashabi |first6=Daniel |last7=Hajishirzi |first7=Hannaneh}}</ref>

=== বিশেষজ্ঞদের মিশ্রণ ===
{{মূল নিবন্ধ|বিশেষজ্ঞদের মিশ্রণ}}
সবচেয়ে বড় এলএলএম প্রশিক্ষণ এবং সরাসরি ব্যবহার করার জন্য খুব ব্যয়বহুল হতে পারে। এই ধরনের মডেলগুলির জন্য বিশেষজ্ঞদের মিশ্রণ (এমওই) প্রয়োগ করা যেতে পারে। বিশেষজ্ঞদের মিশ্রণ পদ্ধতিটি ২০১৭ সাল থেকে গুগল গবেষকদের ১ ট্রিলিয়ন প্যারামিটার পর্যন্ত পৌঁছানোর মডেলগুলিকে প্রশিক্ষণ দেওয়ার জন্য গবেষণার একটি ধারা।<ref name="HGZCJ">{{Cite arXiv |eprint=1701.06538 |class=cs.LG |first1=Noam |last1=Shazeer |first2=Azalia |last2=Mirhoseini |title=Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer |date=2017-01-01 |last3=Maziarz |first3=Krzysztof |last4=Davis |first4=Andy |last5=Le |first5=Quoc |last6=Hinton |first6=Geoffrey |last7=Dean |first7=Jeff}}</ref><ref name="R9Qq5">{{Cite arXiv |eprint=2006.16668 |class=cs.CL |first1=Dmitry |last1=Lepikhin |first2=HyoukJoong |last2=Lee |title=GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding |date=2021-01-12 |last3=Xu |first3=Yuanzhong |last4=Chen |first4=Dehao |last5=Firat |first5=Orhan |last6=Huang |first6=Yanping |last7=Krikun |first7=Maxim |last8=Shazeer |first8=Noam |last9=Chen |first9=Zhifeng}}</ref><ref name="glam-blog" />

=== প্রম্পট ইঞ্জিনিয়ারিং, মনোযোগের প্রক্রিয়া এবং প্রসঙ্গ উইন্ডো ===
{{আরও দেখুন|প্রম্পট ইঞ্জিনিয়ারিং|মনোযোগ (মেশিন লার্নিং)}}
পূর্বে শুধুমাত্র (ব্যয়বহুল) ফাইন-টিউনিং এর মাধ্যমে অর্জন করা যায় এমন বেশিরভাগ ফলাফল প্রম্পট ইঞ্জিনিয়ারিং এর মাধ্যমে অর্জন করা যেতে পারে, যদিও এটি একক কথোপকথনের সুযোগের মধ্যে সীমাবদ্ধ (আরো সঠিকভাবে, একটি প্রসঙ্গ উইন্ডোর সুযোগের মধ্যে সীমাবদ্ধ)।<ref name="emergentpaper" />
[[File:Multiple attention heads.png|upright=1.3|thumb | যখন প্রতিটি হেড তার নিজস্ব মানদণ্ড অনুযায়ী হিসাব করে যে অন্যান্য টোকেনগুলো "it_" টোকেনের জন্য কতটা প্রাসঙ্গিক, তখন লক্ষ্য করুন যে দ্বিতীয় মনোযোগ হেড, যা দ্বিতীয় কলামে দেখানো হয়েছে, বেশিরভাগ মনোযোগ দিচ্ছে প্রথম দুটি সারিতে, অর্থাৎ "The" এবং "animal" টোকেনগুলোর দিকে। এবং তৃতীয় কলামটি অধিকাংশ মনোযোগ দিচ্ছে নিচের দুটি সারিতে, অর্থাৎ "tired" টোকেনের দিকে, যা দুটি টোকেন হিসেবে টোকেনাইজ করা হয়েছে।<ref name="Jay_Allamar">{{ওয়েব উদ্ধৃতি | শেষাংশ=Allamar | প্রথমাংশ=Jay | শিরোনাম=Illustrated transformer | ইউআরএল=https://jalammar.github.io/illustrated-transformer/ | সংগ্রহের-তারিখ=2023-07-29 | আর্কাইভের-তারিখ=2023-07-25 | আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230725230033/http://jalammar.github.io/illustrated-transformer/ | ইউআরএল-অবস্থা=live }}</ref>]]

কোন টোকেনগুলো একে অপরের সাথে সম্পর্কিত, তা জানতে প্রসঙ্গ উইন্ডোর মধ্যে মনোযোগ মেকানিজম প্রতিটি টোকেনের জন্য "সফট" ওজন হিসাব করে, যাকে বলা হয় টোকেনের এমবেডিং। এটি একাধিক মনোযোগ হেড ব্যবহার করে, যেখানে প্রতিটি হেডের নিজস্ব "প্রাসঙ্গিকতা" থাকে এবং এটি তার নিজস্ব সফট ওজন হিসাব করে। উদাহরণস্বরূপ, ছোট (১১৭ মিলিয়ন প্যারামিটার সাইজের) জিপিটি-২ মডেলটির ১২টি মনোযোগ হেড ছিল এবং এর প্রসঙ্গ উইন্ডো ছিল মাত্র ১ হাজার টোকেন।<ref name="Jay_Allamar_GPT2">{{ওয়েব উদ্ধৃতি | শেষাংশ=Allamar | প্রথমাংশ=Jay | শিরোনাম=The Illustrated GPT-2 (Visualizing Transformer Language Models) |ইউআরএল=https://jalammar.github.io/illustrated-gpt2/ |সংগ্রহের-তারিখ=2023-08-01 }}</ref> এর মাঝারি ভার্সনে ৩৪৫ মিলিয়ন প্যারামিটার রয়েছে এবং এতে ২৪টি লেয়ার রয়েছে, প্রতিটির মধ্যে ১২টি মনোযোগ হেড রয়েছে। প্রশিক্ষণের জন্য ৫১২ ব্যাচ সাইজ ব্যবহার করা হয়েছিল।<ref name="2022Book_"/>

বড় বড় মডেলগুলি, যেমন- ফেব্রুয়ারি ২০২৪-এ প্রকাশিত গুগলের জেমিনি ১.৫-এর প্রসঙ্গ উইন্ডো ১ মিলিয়ন টোকেন পর্যন্ত হতে পারে (এছাড়া ১০ মিলিয়ন প্রসঙ্গ উইন্ডোও "সফলভাবে পরীক্ষা" করা হয়েছে)।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Our next-generation model: Gemini 1.5 |ইউআরএল=https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window |ওয়েবসাইট=Google |সংগ্রহের-তারিখ=18 February 2024 |তারিখ=15 February 2024 |আর্কাইভের-তারিখ=18 February 2024 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240218141522/https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window |ইউআরএল-অবস্থা=live }}</ref> অন্যান্য বড় প্রসঙ্গ উইন্ডোযুক্ত মডেলগুলির মধ্যে রয়েছে অ্যানথ্রোপিকের ক্লোড ২.১, যার প্রসঙ্গ উইন্ডো ২০০,০০০ টোকেন পর্যন্ত হতে পারে।<ref>{{ওয়েব উদ্ধৃতি |ইউআরএল=https://www.anthropic.com/news/claude-2-1-prompting |শিরোনাম=Long context prompting for Claude 2.1 |তারিখ=December 6, 2023 |সংগ্রহের-তারিখ=January 20, 2024 |আর্কাইভের-তারিখ=August 27, 2024 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240827053830/https://www.anthropic.com/news/claude-2-1-prompting |ইউআরএল-অবস্থা=live }}</ref> লক্ষ্য রাখতে হবে, এই সর্বাধিক সংখ্যা ইনপুট টোকেনের জন্য এবং আউটপুট টোকেনের সর্বাধিক সংখ্যা ইনপুটের থেকে আলাদা এবং সাধারণত ছোট হয়। উদাহরণস্বরূপ, জিপিটি-৪ টার্বো মডেলে আউটপুটের সর্বাধিক সংখ্যা ৪০৯৬ টোকেন।<ref>{{ওয়েব উদ্ধৃতি |ইউআরএল=https://platform.openai.com/docs/guides/rate-limits |শিরোনাম=Rate limits |লেখক=<!--Not stated--> |ওয়েবসাইট=openai.com |সংগ্রহের-তারিখ=January 20, 2024 |আর্কাইভের-তারিখ=February 2, 2024 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240202003219/https://platform.openai.com/docs/guides/rate-limits |ইউআরএল-অবস্থা=live }}</ref> মডেলটির পরবর্তী উত্তর তৈরির জন্য যে আলাপচারিতার দৈর্ঘ্যটি মনে রাখা সম্ভব, তা প্রসঙ্গ উইন্ডোর আকার দ্বারা সীমিত। উদাহরণস্বরূপ, যদি [[চ্যাটজিপিটি|চ্যাটজিপিটির]] সঙ্গে আলাপচারিতার দৈর্ঘ্য প্রসঙ্গ উইন্ডোর চেয়ে বেশি হয়, তাহলে কেবল প্রসঙ্গ উইন্ডোর মধ্যে থাকা অংশগুলোই পরবর্তী উত্তর তৈরির সময় বিবেচনা করা হয় অথবা মডেলটিকে আলাপচারিতার দূরের অংশগুলো সংক্ষেপে উপস্থাপন করতে কিছু অ্যালগরিদম প্রয়োগ করতে হতে পারে।

প্রসঙ্গ উইন্ডো বড় করার কিছু সীমাবদ্ধতা রয়েছে, যেমন এটি বেশি গণনামূলক খরচ তৈরি করতে পারে এবং স্থানীয় প্রসঙ্গে মনোযোগ কমিয়ে দিতে পারে, আবার প্রসঙ্গ উইন্ডো ছোট করলে মডেলটি গুরুত্বপূর্ণ দীর্ঘমেয়াদি সম্পর্ক উপেক্ষা করতে পারে। এগুলোর মধ্যে সঠিক সমন্বয় করা পরীক্ষামূলক এবং ক্ষেত্রভিত্তিক বিবেচনার বিষয়।

সেগমেন্টটি কীভাবে চলতে থাকে তা অনুমান করার জন্য একটি মডেলকে পূর্বপ্রশিক্ষিত করা যেতে পারে অথবা সেগমেন্টে কী অনুপস্থিত, তার প্রশিক্ষণ ডেটাসেট থেকে একটি সেগমেন্ট দেওয়া হয়।<ref name="ioUpE">{{বই উদ্ধৃতি |শেষাংশ১=Zaib |প্রথমাংশ১=Munazza |শেষাংশ২=Sheng |প্রথমাংশ২=Quan Z. |শেষাংশ৩=Emma Zhang |প্রথমাংশ৩=Wei |শিরোনাম=Proceedings of the Australasian Computer Science Week Multiconference |অধ্যায়=A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP |তারিখ=4 February 2020 |অধ্যায়ের-ইউআরএল=https://www.researchgate.net/publication/338931711 |পাতাসমূহ=1–4 |arxiv=2104.10810 |ডিওআই=10.1145/3373017.3373028 |আইএসবিএন=9781450376976 |s2cid=211040895}}</ref> এটা নিচের যেকোনো একটি হতে পারে:

* '''অটোরিগ্রেসিভ (অথাৎ, সেগমেন্ট কিভাবে চলতে থাকবে তা পূর্বাভাস করা, যেমন জিপিটির কাজ):''' উদাহরণস্বরূপ, যদি সেগমেন্ট হয় "I like to eat", তাহলে মডেলটি ভবিষ্যদ্বাণী করতে পারে "ice cream" বা "sushi"।
* '''মাস্কড (অথাৎ, সেগমেন্টের অনুপস্থিত অংশ পূর্ণ করা, যেমন "বার্ট"'''<ref name="jm">{{বই উদ্ধৃতি |শেষাংশ১=Jurafsky |প্রথমাংশ১=Dan |ইউআরএল=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf |শিরোনাম=Speech and Language Processing |শেষাংশ২=Martin |প্রথমাংশ২=James H. |তারিখ=7 January 2023 |সংস্করণ=3rd edition draft |সংগ্রহের-তারিখ=24 May 2022 |আর্কাইভের-তারিখ=23 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230323210221/https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf |ইউআরএল-অবস্থা=live }}</ref> '''মডেল করে থাকে):''' উদাহরণস্বরূপ, যদি সেগমেন্ট হয় "I like to <code>[__] [__]</code> cream", তবে মডেলটি পূর্বাভাস করতে পারে যে এখানে "eat" এবং "ice" অনুপস্থিত।

মডেলগুলো সহায়ক কাজগুলোতে প্রশিক্ষিত হতে পারে, যা তাদের ডেটা বিতরণের বোঝাপড়া পরীক্ষা করে। যেমন নেক্সট সেন্টেন্স প্রেডিকশনে (এনএসপি) দুটি বাক্য প্রদর্শিত হয় এবং মডেলটিকে পূর্বাভাস করতে হয় যে, সেগুলি প্রশিক্ষণ কর্পাসে পরপর উপস্থিত কিনা।<ref name="jm" /> প্রশিক্ষণ চলাকালীন, প্রশিক্ষণ স্থিতিশীল রাখতে রেগুলারাইজেশন লস ব্যবহার করা হয়। তবে, পরীক্ষণ এবং মূল্যায়নের সময় সাধারণত রেগুলারাইজেশন লস ব্যবহার করা হয় না।

=== অবকাঠামো ===
সবচেয়ে বড় মডেলের প্রশিক্ষণের জন্য যথেষ্ট পরিকাঠামো প্রয়োজন।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=From bare metal to a 70B model: infrastructure set-up and scripts |ইউআরএল=https://imbue.com/research/70b-infrastructure/ |সংগ্রহের-তারিখ=2024-07-24 |ওয়েবসাইট=imbue.com |ভাষা=en-US |আর্কাইভের-তারিখ=2024-07-26 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240726203419/https://imbue.com/research/70b-infrastructure/ |ইউআরএল-অবস্থা=live }}</ref><ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=metaseq/projects/OPT/chronicles at main · facebookresearch/metaseq |ইউআরএল=https://github.com/facebookresearch/metaseq/tree/main/projects/OPT/chronicles |সংগ্রহের-তারিখ=2024-07-24 |ওয়েবসাইট=GitHub |ভাষা=en |আর্কাইভের-তারিখ=2024-01-24 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240124035658/https://github.com/facebookresearch/metaseq/tree/main/projects/OPT/chronicles |ইউআরএল-অবস্থা=live }}</ref><ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=Albrecht |প্রথমাংশ=Josh |তারিখ=2024-07-23 |শিরোনাম=State of the Art: Training >70B LLMs on 10,000 H100 clusters |ইউআরএল=https://www.latent.space/p/llm-training-2024 |সংগ্রহের-তারিখ=2024-07-24 |ওয়েবসাইট=www.latent.space |ভাষা=en}}</ref>

== প্রশিক্ষণ ব্যয় ==
[[File:Estimated_training_cost_of_some_AI_models_-_2024_AI_index.jpg|upright=1.5|থাম্ব|২০১৭ - ২০২৩ পর্যন্ত মডেলগুলির খরচ]]
সফটওয়্যার এবং হার্ডওয়্যারের উন্নতির কারণে ২০২০ সাল থেকে খরচ অনেক কমে গেছে, এমনভাবে যে ২০২৩ সালে ১২ বিলিয়ন প্যারামিটারযুক্ত এলএলএম প্রশিক্ষণের কম্পিউটেশনাল খরচ হচ্ছে ৭২,৩০০ এ১০০-জিপিইউ-ঘণ্টা, যখন ২০২০ সালে ১.৫ বিলিয়ন প্যারামিটারযুক্ত এলএলএম (যা ২০২০ সালের প্রযুক্তির তুলনায় দুই শ্রেণী ছোট ছিল) প্রশিক্ষণের খরচ ছিল ৮০,০০০ ডলার থেকে ১৬,০০,০০০ ডলার পর্যন্ত।<ref name="Wiggers">{{ওয়েব উদ্ধৃতি|শেষাংশ=Wiggers|প্রথমাংশ=Kyle|তারিখ=28 April 2022|শিরোনাম=The emerging types of language models and why they matter|ইউআরএল=https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/|ইউআরএল-অবস্থা=live|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230316072443/https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/|আর্কাইভের-তারিখ=16 March 2023|সংগ্রহের-তারিখ=9 March 2023|কর্ম=TechCrunch}}</ref><ref name="xaytj">{{cite arXiv|eprint=2004.08900|class=cs.CL|first1=Or|last1=Sharir|first2=Barak|last2=Peleg|title=The Cost of Training NLP Models: A Concise Overview|last3=Shoham|first3=Yoav|year=2020}}</ref><ref name="Pythia">{{cite arXiv|eprint=2304.01373|class=cs.CL|first1=Stella|last1=Biderman|first2=Hailey|last2=Schoelkopf|title=Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling|date=April 2023|last3=Anthony|first3=Quentin|last4=Bradley|first4=Herbie|last5=Khan|first5=Mohammad Aflah|last6=Purohit|first6=Shivanshu|last7=Prashanth|first7=USVSN Sai}}</ref> ২০২০ সাল থেকে, ক্রমবর্ধমান বড় মডেলগুলিতে বিপুল পরিমাণ অর্থ বিনিয়োগ করা হয়েছে। উদাহরণস্বরূপ, ২০১৯ সালে জিপিটি-২ (অর্থাৎ ১.৫ বিলিয়ন প্যারামিটার মডেল) প্রশিক্ষণের খরচ ছিল ৫০,০০০ ডলার, ২০২২ সালে পালম (অর্থাৎ ৫৪০ বিলিয়ন প্যারামিটার মডেল) প্রশিক্ষণের খরচ ছিল ৮ মিলিয়ন ডলার, এবং মেগাট্রন-টার্নিং এনএলজি ৫৩০বি (২০২১ সালে) প্রশিক্ষণের খরচ ছিল প্রায় ১১ মিলিয়ন ডলার।<ref>{{Citation |last1=Maslej |first1=Nestor |title=Artificial Intelligence Index Report 2023 |date=2023-10-05 |arxiv=2310.03715 |last2=Fattorini |first2=Loredana |last3=Brynjolfsson |first3=Erik |last4=Etchemendy |first4=John |last5=Ligett |first5=Katrina |last6=Lyons |first6=Terah |last7=Manyika |first7=James |last8=Ngo |first8=Helen |last9=Niebles |first9=Juan Carlos}}</ref>

ট্রান্সফরমার-ভিত্তিক এলএলএমের জন্য প্রশিক্ষণ খরচ অনুমান খরচের চেয়ে অনেক বেশি। এটি একটি টোকেনে প্রশিক্ষণের জন্য প্রতি প্যারামিটারে ৬ ফ্লপ খরচ করে, যেখানে একটি টোকেনে অনুমান করার জন্য প্রতি প্যারামিটারে ১ থেকে ২ ফ্লপ খরচ হয়।<ref name="kaplan-scaling">Section 2.1 and Table 1,

{{Cite arXiv |eprint=2001.08361 |class=cs.LG |first1=Jared |last1=Kaplan |first2=Sam |last2=McCandlish |title=Scaling Laws for Neural Language Models |last3=Henighan |first3=Tom |last4=Brown |first4=Tom B. |last5=Chess |first5=Benjamin |last6=Child |first6=Rewon |last7=Gray |first7=Scott |last8=Radford |first8=Alec |last9=Wu |first9=Jeffrey |last10=Amodei |first10=Dario |year=2020}}</ref>

== সরঞ্জাম ব্যবহার ==
কিছু কাজ রয়েছে, যেগুলি প্রধানত কোনো এলএলএম (ল্যাঙ্গুয়েজ লার্নিং মডেল) দিয়ে সমাধান করা সম্ভব নয়, অন্তত বাহ্যিক কোনো সরঞ্জাম বা অতিরিক্ত সফটওয়্যার ছাড়া। এর একটি উদাহরণ হলো, যদি ব্যবহারকারী ইনপুট দেয় ‘৩৫৪ * ১৩৯ = ’ এবং এলএলএমের প্রশিক্ষণ কর্পাসে এই গাণিতিক হিসাবের কোনো সমাধান আগে থেকে না থাকে, তবে এলএলএম সেই সমাধান দিতে পারবে না।{{dubious|date=September 2024}} এমন পরিস্থিতিতে এলএলএমকে কোড চালিয়ে ফলাফল বের করতে হবে, তারপর সেটি তার উত্তরে সন্নিবেশিত করা যাবে।{{dubious|date=September 2024}} আরেকটি উদাহরণ হলো “এখন সময় কত? এটা হলো”—এখানে এলএলএমকে সিস্টেমের বর্তমান সময় জানার জন্য একটি আলাদা প্রোগ্রাম কোড চালাতে হবে, যাতে সে সঠিক সময় তার উত্তরে দিতে পারে।<ref name="PI1fW">{{Cite arXiv |eprint=2211.10435 |class=cs.CL |first1=Luyu |last1=Gao |first2=Aman |last2=Madaan |title=PAL: Program-aided Language Models |date=2022-11-01 |last3=Zhou |first3=Shuyan |last4=Alon |first4=Uri |last5=Liu |first5=Pengfei |last6=Yang |first6=Yiming |last7=Callan |first7=Jamie |last8=Neubig |first8=Graham}}</ref><ref name="J5OW5">{{ওয়েব উদ্ধৃতি |শিরোনাম=PAL: Program-aided Language Models |ইউআরএল=https://reasonwithpal.com/ |সংগ্রহের-তারিখ=2023-06-12 |ওয়েবসাইট=reasonwithpal.com |আর্কাইভের-তারিখ=2023-06-12 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230612162208/https://reasonwithpal.com/ |ইউআরএল-অবস্থা=live }}</ref> এই মৌলিক পদ্ধতিটি আরও উন্নত করা যেতে পারে একাধিক প্রোগ্রাম তৈরি এবং অন্যান্য পদ্ধতি প্রয়োগের মাধ্যমে।<ref name="gQxzq">{{Cite arXiv |eprint=2303.09014 |class=cs.CL |first1=Bhargavi |last1=Paranjape |first2=Scott |last2=Lundberg |title=ART: Automatic multi-step reasoning and tool-use for large language models |date=2023-03-01 |last3=Singh |first3=Sameer |last4=Hajishirzi |first4=Hannaneh |last5=Zettlemoyer |first5=Luke |last6=Tulio Ribeiro |first6=Marco}}</ref>

সাধারণত, কোনো এলএলএমকে সরঞ্জাম ব্যবহার করতে সক্ষম করতে হলে, সেটিকে সরঞ্জাম ব্যবহারের জন্য ফাইন-টিউন করতে হয়। যদি সরঞ্জামের সংখ্যা সীমিত হয়, তবে একবারই ফাইন-টিউন করা যেতে পারে। তবে, যদি সরঞ্জামের সংখ্যা অসীমভাবে বাড়তে পারে, যেমন অনলাইন [[অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস|এপিআই]] পরিষেবার মতো, তাহলে এলএলএমকে ফাইন-টিউন করা যেতে পারে যাতে তা এপিআই নথিপত্র পড়তে পারে এবং সঠিকভাবে এপিআই কল করতে পারে।<ref name="4Xzrs">{{Cite arXiv |last1=Patil |first1=Shishir G. |last2=Zhang |first2=Tianjun |last3=Wang |first3=Xin |last4=Gonzalez |first4=Joseph E. |date=2023-05-01 |title=Gorilla: Large Language Model Connected with Massive APIs |class=cs.CL |eprint=2305.15334}}</ref><ref name="lLrda">{{Cite arXiv |eprint=2303.16434 |class=cs.AI |first1=Yaobo |last1=Liang |first2=Chenfei |last2=Wu |title=TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs |date=2023-03-01 |last3=Song |first3=Ting |last4=Wu |first4=Wenshan |last5=Xia |first5=Yan |last6=Liu |first6=Yu |last7=Ou |first7=Yang |last8=Lu |first8=Shuai |last9=Ji |first9=Lei |last10=Mao |first10=Shaoguang |last11=Wang |first11=Yun |last12=Shou |first12=Linjun |last13=Gong |first13=Ming |last14=Duan |first14=Nan}}</ref>

সরঞ্জাম ব্যবহারের একটি সহজ রূপ হল রিট্রিভাল-অগমেন্টেড জেনারেশন: এটি হলো এলএলএমকে ডকুমেন্ট রিট্রিভালের মাধ্যমে শক্তিশালী করা। একটি প্রশ্ন দেওয়ার পর, একটি ডকুমেন্ট রিট্রিভারকে ডাকা হয় যাতে সবচেয়ে প্রাসঙ্গিক ডকুমেন্টগুলো উদ্ধার করা যায়। এটি সাধারণত প্রশ্ন এবং ডকুমেন্টগুলোকে ভেক্টরে এনকোড করে করা হয়, তারপর প্রশ্নের ভেক্টরের সাথে সবচেয়ে বেশি মিল থাকা ডকুমেন্টগুলো খুঁজে বের করা হয় (যা সাধারণত ভেক্টর ডাটাবেজে সংরক্ষিত থাকে)। এরপর এলএলএম উক্ত প্রশ্ন এবং উদ্ধারকৃত ডকুমেন্টগুলোর থেকে প্রাপ্ত প্রসঙ্গ ব্যবহার করে একটি আউটপুট তৈরি করে।<ref name="BUZBP">{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Lewis |প্রথমাংশ১=Patrick |শেষাংশ২=Perez |প্রথমাংশ২=Ethan |শেষাংশ৩=Piktus |প্রথমাংশ৩=Aleksandra |শেষাংশ৪=Petroni |প্রথমাংশ৪=Fabio |শেষাংশ৫=Karpukhin |প্রথমাংশ৫=Vladimir |শেষাংশ৬=Goyal |প্রথমাংশ৬=Naman |শেষাংশ৭=Küttler |প্রথমাংশ৭=Heinrich |শেষাংশ৮=Lewis |প্রথমাংশ৮=Mike |শেষাংশ৯=Yih |প্রথমাংশ৯=Wen-tau |শেষাংশ১০=Rocktäschel |প্রথমাংশ১০=Tim |শেষাংশ১১=Riedel |প্রথমাংশ১১=Sebastian |শেষাংশ১২=Kiela |প্রথমাংশ১২=Douwe |তারিখ=2020 |শিরোনাম=Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks |ইউআরএল=https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html |সাময়িকী=Advances in Neural Information Processing Systems |প্রকাশক=Curran Associates, Inc. |খণ্ড=33 |পাতাসমূহ=9459–9474 |arxiv=2005.11401 |সংগ্রহের-তারিখ=2023-06-12 |আর্কাইভের-তারিখ=2023-06-12 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230612171229/https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html |ইউআরএল-অবস্থা=live }}</ref>

== এজেন্সি ==
একটি এলএলএম সাধারণত নিজে থেকে একটি স্বতন্ত্র (বা স্বাধীন) কারক নয়, কারণ এর মধ্যে গতিশীল পরিবেশের সঙ্গে যোগাযোগ করার ক্ষমতা, অতীতের আচরণ মনে রাখার সক্ষমতা এবং ভবিষ্যতের পরিকল্পনা করার ক্ষমতা নেই। তবে এতে প্রোফাইলিং, মেমোরি, পরিকল্পনা এবং অ্যাকশনের মতো মডিউল সংযুক্ত করে একে স্বতন্ত্র কারকে রূপান্তরিত করা সম্ভব।<ref>{{ওয়েব উদ্ধৃতি |তারিখ=October 23, 2023 |শিরোনাম=The Growth Behind LLM-based Autonomous Agents |ইউআরএল=https://www.kdnuggets.com/the-growth-behind-llmbased-autonomous-agents |ওয়েবসাইট=KDnuggets}}</ref>

রিএক্ট প্যাটার্ন এলএলএম দিয়ে [[বুদ্ধিমান কারক|কারক]] তৈরি করার একটি পদ্ধতি। রিএক্ট "রিজন + এক্ট" (যুক্তি+ক্রিয়া) এর সংক্ষিপ্ত রূপ। এখানে এলএলএমকে একটি পরিকল্পনাকারী হিসেবে ব্যবহার করা হয়। এলএলএমকে "কথা বলে ভাবতে" উৎসাহিত করা হয়। বিশেষভাবে, এলএলএমকে পরিবেশের একটি লিখিত বর্ণনা, একটি লক্ষ্য, সম্ভাব্য ক্রিয়াগুলির একটি তালিকা এবং পূর্ববর্তী ক্রিয়া ও পর্যবেক্ষণের একটি রেকর্ড দেয়া হয়। এলএলএম প্রথমে এক বা একাধিক চিন্তা তৈরি করে, তারপর সেই চিন্তা অনুযায়ী একটি ক্রিয়া উৎপন্ন করে, যা পরবর্তীতে পরিবেশে কার্যকর করা হয়।<ref name="DmvNE">{{Cite arXiv |eprint=2210.03629 |class=cs.CL |first1=Shunyu |last1=Yao |first2=Jeffrey |last2=Zhao |title=ReAct: Synergizing Reasoning and Acting in Language Models |date=2022-10-01 |last3=Yu |first3=Dian |last4=Du |first4=Nan |last5=Shafran |first5=Izhak |last6=Narasimhan |first6=Karthik |last7=Cao |first7=Yuan}}</ref> এলএলএম পরিকল্পনাকারীকে যে ভাষাগত বর্ণনা দেয়া হয়, তা এমনকি একটি কাগজের ল্যাটেক কোডও হতে পারে, যা পরিবেশ বর্ণনা করে।<ref name="JS8Vd">{{Cite arXiv |eprint=2305.15486 |class=cs.AI |first1=Yue |last1=Wu |first2=Shrimai |last2=Prabhumoye |title=SPRING: GPT-4 Out-performs RL Algorithms by Studying Papers and Reasoning |date=24 May 2023 |last3=Min |first3=So Yeon}}</ref>

ডিইপিএস (DEPS, ডিস্ক্রাইব, এক্সপ্লেইন, প্ল্যান ও সিলেক্টের সংক্ষেপ) পদ্ধতিতে, প্রথমে একটি এলএলএমকে চিত্র বর্ণনাগুলির মাধ্যমে ভিজ্যুয়াল বিশ্বের সাথে যুক্ত করা হয়, এরপর এটি তার পূর্বপ্রশিক্ষিত জ্ঞান এবং পরিবেশ থেকে পাওয়া প্রতিক্রিয়ার ভিত্তিতে জটিল কাজ ও আচরণের জন্য প্ল্যান তৈরি করতে বলা হয়।<ref>{{Cite arXiv|eprint=2302.01560|class=cs.AI|first1=Zihao|last1=Wang|first2=Shaofei|last2=Cai|title=Describe, Explain, Plan and Select: Interactive Planning with Large Language Models Enables Open-World Multi-Task Agents|date=2023-02-03|last3=Liu|first3=Anji|last4=Ma|first4=Xiaojian|last5=Liang|first5=Yitao}}</ref>

রিফ্লেক্সন পদ্ধতি<ref name="sbB2T">{{Cite arXiv|last1=Shinn|first1=Noah|last2=Cassano|first2=Federico|last3=Labash|first3=Beck|last4=Gopinath|first4=Ashwin|last5=Narasimhan|first5=Karthik|last6=Yao|first6=Shunyu|date=2023-03-01|title=Reflexion: Language Agents with Verbal Reinforcement Learning|class=cs.AI|eprint=2303.11366}}</ref> একটি কারক তৈরি করে যা একাধিক পর্বের মাধ্যমে শেখে। প্রতিটি পর্বের শেষে, এলএলএমকে পর্বের রেকর্ড দেয়া হয়, এবং এটি "শিক্ষা গ্রহণ করতে" চিন্তা করতে বলা হয়, যা পরবর্তী পর্বে আরও ভালো পারফর্ম করতে সহায়তা করবে। এই "শিক্ষা গ্রহণ" পরবর্তী পর্বগুলিতে কারককে দেয়া হয়।

মন্টে কারলো ট্রি সার্চ (Monte Carlo Tree Search) এলএলএমকে রোলআউট হিউরিস্টিক হিসেবে ব্যবহার করতে পারে। যখন একটি প্রোগ্রামেটিক বিশ্ব মডেল উপলব্ধ থাকে না, এলএলএমকে পরিবেশের একটি বর্ণনা দিয়ে বিশ্ব মডেল হিসেবে কাজ করতে বলা যেতে পারে।<ref name="ltTer">{{Cite arXiv|eprint=2305.14992|class=cs.CL|first1=Shibo|last1=Hao|first2=Yi|last2=Gu|title=Reasoning with Language Model is Planning with World Model|date=2023-05-01|last3=Ma|first3=Haodi|last4=Jiahua Hong|first4=Joshua|last5=Wang|first5=Zhen|last6=Zhe Wang|first6=Daisy|last7=Hu|first7=Zhiting}}</ref>=

ওপেন-এন্ডেড এক্সপ্লোরেশনে এলএলএমকে পর্যবেক্ষণগুলির "ইন্টারেস্টিংনেস" স্কোর করতে ব্যবহার করা যেতে পারে, যা একটি রিওয়ার্ড সিগন্যাল হিসেবে ব্যবহার হতে পারে। এটি একটি সাধারণ (অ-এলএলএম) উন্নততর প্রশিক্ষণ কারককে নির্দেশনা দিতে সাহায্য করে।<ref name="mBvD9">{{Cite arXiv|eprint=2306.01711|class=cs.AI|first1=Jenny|last1=Zhang|first2=Joel|last2=Lehman|title=OMNI: Open-endedness via Models of human Notions of Interestingness|date=2 June 2023|last3=Stanley|first3=Kenneth|last4=Clune|first4=Jeff}}</ref> বিকল্পভাবে, এটি কারিকুলাম লার্নিংয়ের জন্য ক্রমশ কঠিন কাজ প্রস্তাব করতে পারে।<ref name=":0">{{ওয়েব উদ্ধৃতি|শিরোনাম=Voyager {{!}} An Open-Ended Embodied Agent with Large Language Models|ইউআরএল=https://voyager.minedojo.org/|ইউআরএল-অবস্থা=live|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230608225054/https://voyager.minedojo.org/|আর্কাইভের-তারিখ=2023-06-08|সংগ্রহের-তারিখ=2023-06-09|ওয়েবসাইট=voyager.minedojo.org}}</ref> এলএলএম পরিকল্পনাকারী একক ক্রিয়া আউটপুট করার বদলে "স্কিলস" বা জটিল ক্রিয়া সিকোয়েন্সের জন্য [[সাবরুটিন|ফাংশন]] তৈরি করতে পারে। এই স্কিলসগুলো সংরক্ষণ করা যায় এবং পরে প্রয়োগ করা যায়, যা পরিকল্পনায় ক্রমবর্ধমান বিমূর্ত স্তরের অনুমতি দেয়।<ref name=":0" />

এলএলএম-চালিত কারকগুলি তার পূর্ববর্তী প্রসঙ্গের দীর্ঘমেয়াদী স্মৃতি রাখতে পারে এবং এই স্মৃতিটি "রিট্রিভাল অগমেন্টেড জেনারেশন" এর মতো করা যায়। একাধিক কারক একে অপরের সাথে সামাজিকভাবে পারস্পরিক ক্রিয়া করতে পারে।<ref name="XuvjF">{{Cite arXiv |last1=Park |first1=Joon Sung |last2=O'Brien |first2=Joseph C. |last3=Cai |first3=Carrie J. |last4=Ringel Morris |first4=Meredith |last5=Liang |first5=Percy |last6=Bernstein |first6=Michael S. |date=2023-04-01 |title=Generative Agents: Interactive Simulacra of Human Behavior |class=cs.HC |eprint=2304.03442}}</ref>

== হ্রাসকরণ ==
সাধারণত এলএলএমগুলিকে একক বা অর্ধ-নির্ধারণ ফ্লোটিং পয়েন্ট সংখ্যা (ফ্লোট৩২ এবং ফ্লোট১৬) দিয়ে প্রশিক্ষণ দেয়া হয়। একটি ফ্লোট১৬ এর মধ্যে ১৬ বিট বা ২ বাইট থাকে, সুতরাং এক বিলিয়ন প্যারামিটার লোড করতে ২ গিগাবাইট জায়গা প্রয়োজন। সবচেয়ে বড় মডেলগুলির সাধারণত ১০০ বিলিয়ন প্যারামিটার থাকে, যার ফলে লোড করতে ২০০ গিগাবাইট জায়গা প্রয়োজন, যা বেশিরভাগ ভোক্তা ইলেকট্রনিক ডিভাইসের সক্ষমতার বাইরে চলে যায়।<ref>{{ওয়েব উদ্ধৃতি|শেষাংশ=Mann|প্রথমাংশ=Tobias|শিরোনাম=How to run an LLM locally on your PC in less than 10 minutes|ইউআরএল=https://www.theregister.com/2024/03/17/ai_pc_local_llm/|সংগ্রহের-তারিখ=2024-05-17|ওয়েবসাইট=www.theregister.com}}</ref>

পোস্ট-ট্রেইনিং কুয়ান্টাইজেশনের<ref name="LS2Go">{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Nagel |প্রথমাংশ১=Markus |শেষাংশ২=Amjad |প্রথমাংশ২=Rana Ali |শেষাংশ৩=Baalen |প্রথমাংশ৩=Mart Van |শেষাংশ৪=Louizos |প্রথমাংশ৪=Christos |শেষাংশ৫=Blankevoort |প্রথমাংশ৫=Tijmen |তারিখ=2020-11-21 |শিরোনাম=Up or Down? Adaptive Rounding for Post-Training Quantization |ইউআরএল=https://proceedings.mlr.press/v119/nagel20a.html |সাময়িকী=Proceedings of the 37th International Conference on Machine Learning |প্রকাশক=PMLR |পাতাসমূহ=7197–7206 |সংগ্রহের-তারিখ=2023-06-14 |আর্কাইভের-তারিখ=2023-06-14 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230614080854/https://proceedings.mlr.press/v119/nagel20a.html |ইউআরএল-অবস্থা=live }}</ref> উদ্দেশ্য হলো, একটি প্রশিক্ষিত মডেলের প্যারামিটারগুলির নির্ধারণের মাত্রা কমিয়ে তার জায়গার চাহিদা হ্রাস করা, একই সময় মডেলের কার্যকারিতা বেশিরভাগ বজায় রেখে।<ref name="cpzcK">{{Cite arXiv |eprint=1802.05668 |class=cs.NE |first1=Antonio |last1=Polino |first2=Razvan |last2=Pascanu |title=Model compression via distillation and quantization |date=2018-02-01 |last3=Alistarh |first3=Dan}}</ref><ref name="QVU95">{{Cite arXiv |eprint=2210.17323 |class=cs.LG |first1=Elias |last1=Frantar |first2=Saleh |last2=Ashkboos |title=GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers |date=2022-10-01 |last3=Hoefler |first3=Torsten |last4=Alistarh |first4=Dan}}</ref> কুয়ান্টাইজেশনের সবচেয়ে সাধারণ রূপ হলো, সমস্ত সংখ্যা নির্দিষ্ট বিটের মধ্যে ট্রাঙ্কেট (কেটে ফেলা) করা। এটি উন্নত করা যেতে পারে, প্রতিটি লেয়ারের জন্য আলাদা কুয়ান্টাইজেশন কোডবুক ব্যবহার করে। আরও উন্নতি করা যেতে পারে, ভিন্ন প্যারামিটারগুলির জন্য ভিন্ন নির্ধারণের মাত্রা প্রয়োগ করে, যেখানে বিশেষভাবে গুরুত্বপূর্ণ প্যারামিটারগুলির জন্য উচ্চতর নির্ধারণ রাখা হয় ("আউটলাইয়ার ওয়েটস")।<ref name="dU9Bu">{{Cite arXiv |eprint=2306.03078 |class=cs.CL |first1=Tim |last1=Dettmers |first2=Ruslan |last2=Svirschevski |title=SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression |date=2023-06-01 |last3=Egiazarian |first3=Vage |last4=Kuznedelev |first4=Denis |last5=Frantar |first5=Elias |last6=Ashkboos |first6=Saleh |last7=Borzunov |first7=Alexander |last8=Hoefler |first8=Torsten |last9=Alistarh |first9=Dan}}</ref> ভিজুয়াল গাইডের জন্য দেখুন:<ref>{{ওয়েব উদ্ধৃতি|শেষাংশ=Grootendorst|প্রথমাংশ=Maarten|ভাষা=en|শিরোনাম=A Visual Guide to Quantization|ইউআরএল=https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240731003355/https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization|আর্কাইভের-তারিখ=31 Jul 2024|সংগ্রহের-তারিখ=2024-07-31|ওয়েবসাইট=newsletter.maartengrootendorst.com}}</ref>।

যদিও কুয়ান্টাইজড মডেলগুলি সাধারণত ফ্রিজ করা থাকে এবং শুধুমাত্র প্রি-কুয়ান্টাইজড মডেলগুলি ফাইন-টিউন করা হয়, তবুও কুয়ান্টাইজড মডেলগুলি ফাইন-টিউন করা সম্ভব।<ref name="D0nFA">{{Cite arXiv |eprint=2305.14314 |class=cs.LG |first1=Tim |last1=Dettmers |first2=Artidoro |last2=Pagnoni |title=QLoRA: Efficient Finetuning of Quantized LLMs |date=2023-05-01 |last3=Holtzman |first3=Ari | author-link3=Ari Holtzman |last4=Zettlemoyer |first4=Luke}}</ref>

== বহুমাত্রিকতা ==
{{আরও দেখুন|বহুমাত্রিক শিখন}}
বহুমাত্রিকতা মানে হলো "একাধিক মাত্রা থাকা" এবং একটি "মাত্রিকতা" একটি ইনপুট বা আউটপুটের ধরন বোঝায়, যেমন ভিডিও, চিত্র, অডিও, পাঠ্য, প্রোপ্রিওসেপশন ইত্যাদি।<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Kiros |প্রথমাংশ১=Ryan |শেষাংশ২=Salakhutdinov |প্রথমাংশ২=Ruslan |শেষাংশ৩=Zemel |প্রথমাংশ৩=Rich |তারিখ=2014-06-18 |শিরোনাম=Multimodal Neural Language Models |ইউআরএল=https://proceedings.mlr.press/v32/kiros14.html |সাময়িকী=Proceedings of the 31st International Conference on Machine Learning |প্রকাশক=PMLR |পাতাসমূহ=595–603 |সংগ্রহের-তারিখ=2023-07-02 |আর্কাইভের-তারিখ=2023-07-02 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230702195952/https://proceedings.mlr.press/v32/kiros14.html |ইউআরএল-অবস্থা=live }}</ref> বহু এআই মডেল রয়েছে যা একটি মাত্রিকতা গ্রহণ করতে এবং অন্য একটি মাত্রিকতায় আউটপুট দিতে বিশেষভাবে প্রশিক্ষিত হয়েছে। যেমন আলেক্সনেট চিত্র থেকে লেবেল শনাক্ত করতে,<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Krizhevsky |প্রথমাংশ১=Alex |শেষাংশ২=Sutskever |প্রথমাংশ২=Ilya |শেষাংশ৩=Hinton |প্রথমাংশ৩=Geoffrey E |তারিখ=2012 |শিরোনাম=ImageNet Classification with Deep Convolutional Neural Networks |ইউআরএল=https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html |সাময়িকী=Advances in Neural Information Processing Systems |প্রকাশক=Curran Associates, Inc. |খণ্ড=25 |সংগ্রহের-তারিখ=2023-07-02 |আর্কাইভের-তারিখ=2023-07-02 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230702195952/https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html |ইউআরএল-অবস্থা=live }}</ref> ভিজ্যুয়াল কোয়েশ্চন আন্সারিং চিত্র-পাঠ্য থেকে পাঠ্যে রূপান্তর করতে<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Antol |প্রথমাংশ১=Stanislaw |শেষাংশ২=Agrawal |প্রথমাংশ২=Aishwarya |শেষাংশ৩=Lu |প্রথমাংশ৩=Jiasen |শেষাংশ৪=Mitchell |প্রথমাংশ৪=Margaret |শেষাংশ৫=Batra |প্রথমাংশ৫=Dhruv |শেষাংশ৬=Zitnick |প্রথমাংশ৬=C. Lawrence |শেষাংশ৭=Parikh |প্রথমাংশ৭=Devi |তারিখ=2015 |শিরোনাম=VQA: Visual Question Answering |ইউআরএল=https://openaccess.thecvf.com/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html |সাময়িকী=ICCV |পাতাসমূহ=2425–2433 |সংগ্রহের-তারিখ=2023-07-02 |আর্কাইভের-তারিখ=2023-07-02 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230702195952/https://openaccess.thecvf.com/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html |ইউআরএল-অবস্থা=live }}</ref> এবং [[কণ্ঠ শনাক্তকরণ]] কণ্ঠ থেকে পাঠ্যে রূপান্তর করতে প্রশিক্ষিত হয়েছে।

একটি সাধারণ পদ্ধতি যা এলএলএম থেকে বহুমাত্রিক মডেল তৈরি করতে ব্যবহৃত হয়, তা হলো প্রশিক্ষিত এনকোডারের আউটপুট "টোকেনাইজ" করা। সুনির্দিষ্টভাবে, একটি এলএলএম তৈরি করা যেতে পারে যা চিত্র বুঝতে পারে, এর জন্য: একটি প্রশিক্ষিত এলএলএম নেওয়া হয় এবং একটি প্রশিক্ষিত চিত্র এনকোডার <math>E</math> নেওয়া হয়। একটি ছোট বহু-লেয়ারের পেরসেপ্ট্রন <math>f</math> তৈরি করা হয়, যাতে যেকোনো <math>y</math> চিত্রের জন্য প্রক্রিয়াজাত ভেক্টর <math>f(E(y))</math> সেই টোকেনের মতো একই মাত্রা ধারণ করে। এটিই একটি "চিত্র টোকেন"। এরপর পাঠ্য টোকেন এবং চিত্র টোকেন একত্রে ব্যবহৃত হয়। যৌথ মডেলটি একটি চিত্র-পাঠ্য ডেটাসেটে ফাইন-টিউন করা হয়। এই মৌলিক নির্মাণটি আরও উন্নতভাবে ব্যবহার করে মডেলটির কার্যকারিতা বৃদ্ধি করা যেতে পারে। চিত্র এনকোডারটি স্থিতিশীলতা বাড়াতে ফ্রিজ করা হতে পারে।<ref>{{Cite arXiv |last1=Li |first1=Junnan |last2=Li |first2=Dongxu |last3=Savarese |first3=Silvio |last4=Hoi |first4=Steven |date=2023-01-01 |title=BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models |class=cs.CV |eprint=2301.12597 }}</ref>

ফ্লেমিংগো টোকেনাইজেশন পদ্ধতির কার্যকারিতা প্রদর্শন করেছে, যেখানে একটি পূর্বপ্রশিক্ষিত ভাষা মডেল এবং চিত্র এনকোডারকে ফাইনটিউন করে এমন মডেলগুলোর চেয়ে ভিজ্যুয়াল প্রশ্নোত্তর ক্ষেত্রে ভালো ফলাফল দেখিয়েছে, যেগুলো স্ক্র্যাচ থেকে প্রশিক্ষিত।<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Alayrac |প্রথমাংশ১=Jean-Baptiste |শেষাংশ২=Donahue |প্রথমাংশ২=Jeff |শেষাংশ৩=Luc |প্রথমাংশ৩=Pauline |শেষাংশ৪=Miech |প্রথমাংশ৪=Antoine |শেষাংশ৫=Barr |প্রথমাংশ৫=Iain |শেষাংশ৬=Hasson |প্রথমাংশ৬=Yana |শেষাংশ৭=Lenc |প্রথমাংশ৭=Karel |শেষাংশ৮=Mensch |প্রথমাংশ৮=Arthur |শেষাংশ৯=Millican |প্রথমাংশ৯=Katherine |শেষাংশ১০=Reynolds |প্রথমাংশ১০=Malcolm |শেষাংশ১১=Ring |প্রথমাংশ১১=Roman |শেষাংশ১২=Rutherford |প্রথমাংশ১২=Eliza |শেষাংশ১৩=Cabi |প্রথমাংশ১৩=Serkan |শেষাংশ১৪=Han |প্রথমাংশ১৪=Tengda |শেষাংশ১৫=Gong |প্রথমাংশ১৫=Zhitao |তারিখ=2022-12-06 |শিরোনাম=Flamingo: a Visual Language Model for Few-Shot Learning |ইউআরএল=https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html |সাময়িকী=Advances in Neural Information Processing Systems |খণ্ড=35 |পাতাসমূহ=23716–23736 |arxiv=2204.14198 |সংগ্রহের-তারিখ=2023-07-02 |আর্কাইভের-তারিখ=2023-07-02 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230702195951/https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html |ইউআরএল-অবস্থা=live }}</ref> গুগলের পাম মডেলকে টোকেনাইজেশন পদ্ধতি ব্যবহার করে একটি বহুমাত্রিক মডেল পাম-ইতে ফাইনটিউন করা হয়েছে এবং এটি রোবট নিয়ন্ত্রণে প্রয়োগ করা হয়েছে।<ref>{{Cite arXiv |last1=Driess |first1=Danny |last2=Xia |first2=Fei |last3=Sajjadi |first3=Mehdi S. M. |last4=Lynch |first4=Corey |last5=Chowdhery |first5=Aakanksha |last6=Ichter |first6=Brian |last7=Wahid |first7=Ayzaan |last8=Tompson |first8=Jonathan |last9=Vuong |first9=Quan |last10=Yu |first10=Tianhe |last11=Huang |first11=Wenlong |last12=Chebotar |first12=Yevgen |last13=Sermanet |first13=Pierre |last14=Duckworth |first14=Daniel |last15=Levine |first15=Sergey |date=2023-03-01 |title=PaLM-E: An Embodied Multimodal Language Model |class=cs.LG |eprint=2303.03378 }}</ref> লামা মডেলগুলোও টোকেনাইজেশন পদ্ধতি ব্যবহার করে বহুমাত্রিক হিসেবে রূপান্তরিত হয়েছে, যাতে চিত্র ইনপুট<ref>{{Cite arXiv|last1=Liu |first1=Haotian |last2=Li |first2=Chunyuan |last3=Wu |first3=Qingyang |last4=Lee |first4=Yong Jae |date=2023-04-01 |title=Visual Instruction Tuning |class=cs.CV |eprint=2304.08485 }}</ref> এবং ভিডিও ইনপুট<ref>{{Cite arXiv|last1=Zhang |first1=Hang |last2=Li |first2=Xin |last3=Bing |first3=Lidong |date=2023-06-01 |title=Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding |class=cs.CL |eprint=2306.02858 }}</ref> গ্রহণের ক্ষমতা তৈরি হয়েছে।

[[জিপিটি-৪]] পাঠ্য এবং চিত্র উভয়কেই ইনপুট হিসেবে ব্যবহার করতে পারে<ref>{{Cite arXiv |eprint=2303.08774 |class=cs.CL |last=OpenAI |title=GPT-4 Technical Report |date=2023-03-27}}</ref> (যদিও ভিশন কম্পোনেন্টটি জনসাধারণের জন্য জিপিটি-৪ভি পর্যন্ত প্রকাশিত হয়নি<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=OpenAI |তারিখ=September 25, 2023 |শিরোনাম=GPT-4V(ision) System Card |ইউআরএল=https://cdn.openai.com/papers/GPTV_System_Card.pdf}}</ref>); গুগল ডিপমাইন্ডের জেমিনি মডেলও বহুমাত্রিক।<ref>{{Citation |last=Pichai |first=Sundar |title=Google Keynote (Google I/O '23) |date=10 May 2023 |url=https://www.youtube.com/watch?v=cNfINi5CNbY&t=931s |access-date=2023-07-02 |at=timestamp 15:31 }}</ref> মিসট্রাল ২০২৪ সালের সেপ্টেম্বরে তাদের নিজস্ব বহুমাত্রিক পিক্সট্রাল ১২বি মডেল উন্মোচন করে।<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ১=Wiggers |প্রথমাংশ১=Kyle |শিরোনাম=Mistral releases Pixtral 12B, its first multimodal model |ইউআরএল=https://techcrunch.com/2024/09/11/mistral-releases-pixtral-its-first-multimodal-model/?utm_medium=aisecret.us&utm_source=aisecret.us&utm_campaign=aisecret.us |ওয়েবসাইট=TechCrunch |সংগ্রহের-তারিখ=14 September 2024 |তারিখ=11 September 2024}}</ref>

== বৈশিষ্ট্যাবলী ==
=== স্কেলিং নীতি ===
{{মূল নিবন্ধ|নিউরাল স্কেলিং নীতি}}
নিম্নলিখিত চারটি হাইপার-প্যারামিটার একটি এলএলএমকে চিহ্নিত করে:
* (পূর্ব-) প্রশিক্ষণের ব্যয় (<small><math>C</math></small>) (ব্যবহৃত গণনার মোট পরিমাণ),
* [[কৃত্রিম নিউরাল নেটওয়ার্ক|কৃত্রিম নিউরাল নেটওয়ার্কের]] আকার, যেমন পরামিতি সংখ্যা <small><math>N</math></small> (যেমন- এর স্তরগুলিতে নিউরনের পরিমাণ, তাদের মধ্যে ওজনের পরিমাণ এবং পক্ষপাত),
* এর (পূর্ব-) প্রশিক্ষিত ডেটাসেটের আকার (যেমন- কর্পাসে টোকেনের সংখ্যা, <small><math>D</math></small>),
* (পূর্ব-) প্রশিক্ষণের পরে কর্মক্ষমতা।
এরা সাধারণ পরিসংখ্যানিক নীতির সাথে সম্পর্কিত, যেগুলিকে "স্কেলিং নীতি" বলা হয়। একক মহাকর্ষের জন্য স্বয়ংক্রিয়ভাবে প্রশিক্ষিত এলএলএমের জন্য একটি নির্দিষ্ট স্কেলিং নীতি ("চিনচিলা স্কেলিং") লগ-লগ লার্নিং রেট শিডিউলসহ জানায় যে—<ref name="fJta3">{{Cite arXiv |eprint=2203.15556 |class=cs.CL |first1=Jordan |last1=Hoffmann |first2=Sebastian |last2=Borgeaud |title=Training Compute-Optimal Large Language Models |date=2022-03-29 |last3=Mensch |first3=Arthur |last4=Buchatskaya |first4=Elena |last5=Cai |first5=Trevor |last6=Rutherford |first6=Eliza |last7=Casas |first7=Diego de Las |last8=Hendricks |first8=Lisa Anne |last9=Welbl |first9=Johannes |last10=Clark |first10=Aidan |last11=Hennigan |first11=Tom |last12=Noland |first12=Eric |last13=Millican |first13=Katie |last14=Driessche |first14=George van den |last15=Damoc |first15=Bogdan}}</ref><math display="block">\begin{cases}
C = C_0 ND \\[6pt]
L = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + L_0
\end{cases}</math> এখানে
* <small><math>C</math></small> মডেল প্রশিক্ষণের খরচ, যা ফ্লপ (ফ্লোটিং পয়েন্ট অপারেশনস) দ্বারা পরিমাপ করা হয়।
* <small><math>N</math></small> মডেলের পরামিতির সংখ্যা।
* <small><math>D</math></small> প্রশিক্ষণ সেটে টোকেনের সংখ্যা।
* <small><math>L</math></small> গড় নেতিবাচক লগ-সম্ভাবনা ক্ষতি প্রতি টোকেন (ন্যাট/টোকেন), যা প্রশিক্ষিত এলএলএম টেস্ট ডেটাসেটে অর্জন করেছে।

এবং পরিসংখ্যানগত হাইপার-প্যারামিটারগুলি হল
* <small><math> C_0 = 6</math></small>, মানে হচ্ছে, এক টোকেন প্রশিক্ষণ করতে মডেলের প্রতি প্যারামিটার প্রশিক্ষণের জন্য ৬ ফ্লপ খরচ হয়। লক্ষ্য করুন যে, প্রশিক্ষণের খরচ অনুমানের খরচের তুলনায় অনেক বেশি, যেখানে এক টোকেন অনুমান করতে মডেলের প্রতি প্যারামিটার ১ থেকে ২ ফ্লপ খরচ হয়।<ref name="kaplan-scaling" />
* <small><math>\alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69</math></small>

=== উদ্ভূত ক্ষমতা ===
{{anchor|উদ্ভূত ক্ষমতা}}[[File:LLM emergent benchmarks.png|thumb|যেসব পয়েন্টকে "ব্রেক" বলা হয়,<ref name="IYm4Q" /> সেখানে রেখাগুলোর ঢাল পরিবর্তিত হয় এবং এগুলি একটি লিনিয়ার-লগ প্লটে একাধিক লিনিয়ার সেগমেন্ট হিসেবে দেখা যায়, যেগুলি আর্স (বাঁকা রেখা) দ্বারা সংযুক্ত থাকে।]]
বৃহৎ মডেলগুলির কর্মক্ষমতা বিভিন্ন কাজের ওপর, যখন একটি লগ-লগ স্কেলে চিত্রিত করা হয়, তখন তা ছোট মডেলগুলোর দ্বারা অর্জিত কর্মক্ষমতার একটি সোজা রেখার এক্সট্রপোলেশন হিসেবে দেখা যায়। তবে, এই রেখার মধ্যে কখনো কখনো "ব্রেক" (বিরতি) দেখা যেতে পারে,<ref name="IYm4Q">{{cite arXiv |eprint=2210.14891 |class=cs.LG |first1=Ethan |last1=Caballero |first2=Kshitij |last2=Gupta |title=Broken Neural Scaling Laws |last3=Rish |first3=Irina |last4=Krueger |first4=David |year=2022}}</ref> যেখানে রেখার ঢাল আকস্মিকভাবে পরিবর্তিত হয় এবং যেখানে বৃহৎ মডেলগুলি "উদ্ভূত ক্ষমতা" অর্জন করে।<ref name="emergentpaper">{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Wei |প্রথমাংশ১=Jason |শেষাংশ২=Tay |প্রথমাংশ২=Yi |শেষাংশ৩=Bommasani |প্রথমাংশ৩=Rishi |শেষাংশ৪=Raffel |প্রথমাংশ৪=Colin |শেষাংশ৫=Zoph |প্রথমাংশ৫=Barret |শেষাংশ৬=Borgeaud |প্রথমাংশ৬=Sebastian |শেষাংশ৭=Yogatama |প্রথমাংশ৭=Dani |শেষাংশ৮=Bosma |প্রথমাংশ৮=Maarten |শেষাংশ৯=Zhou |প্রথমাংশ৯=Denny |শেষাংশ১০=Metzler |প্রথমাংশ১০=Donald |শেষাংশ১১=Chi |প্রথমাংশ১১=Ed H. |শেষাংশ১২=Hashimoto |প্রথমাংশ১২=Tatsunori |শেষাংশ১৩=Vinyals |প্রথমাংশ১৩=Oriol |শেষাংশ১৪=Liang |প্রথমাংশ১৪=Percy |শেষাংশ১৫=Dean |প্রথমাংশ১৫=Jeff |তারিখ=31 August 2022 |শিরোনাম=Emergent Abilities of Large Language Models |ইউআরএল=https://openreview.net/forum?id=yzkSU5zdwD |সাময়িকী=Transactions on Machine Learning Research |issn=2835-8856 |শেষাংশ১৬=Fedus |প্রথমাংশ১৬=William |সংগ্রহের-তারিখ=19 March 2023 |আর্কাইভের-তারিখ=22 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230322210052/https://openreview.net/forum?id=yzkSU5zdwD |ইউআরএল-অবস্থা=live }}</ref><ref name="JM6s1">{{ওয়েব উদ্ধৃতি |শিরোনাম=137 emergent abilities of large language models |ইউআরএল=https://www.jasonwei.net/blog/emergence |সংগ্রহের-তারিখ=2023-06-24 |ওয়েবসাইট=Jason Wei }}</ref> এগুলি মডেলের উপাদানগুলির জটিল পারস্পরিক ক্রিয়া থেকে উদ্ভূত হয় এবং সেগুলি স্পষ্টভাবে প্রোগ্রাম বা বিন্যাসিত করা হয় না।<ref name="Bowman">{{cite arXiv |eprint=2304.00612 |class=cs.CL |first=Samuel R. |last=Bowman |title=Eight Things to Know about Large Language Models |year=2023}}</ref>

এছাড়াও, সম্প্রতিক গবেষণায় প্রমাণিত হয়েছে যে, এআই সিস্টেমগুলি, যার মধ্যে বড় ভাষার মডেলও রয়েছে, মানুষের চিন্তাভাবনার মতো হিউরিস্টিক যুক্তি প্রয়োগ করতে সক্ষম। তারা সম্পূর্ণ যৌক্তিক প্রক্রিয়াকরণের এবং মানসিক তড়িৎ ক্রিয়া (হিউরিস্টিক) ব্যবহারের মধ্যে সমন্বয় সাধন করে, তাদের যুক্তির কৌশলগুলি যথার্থতা এবং প্রচেষ্টার মধ্যে ভারসাম্য বজায় রাখতে অভিযোজিত হয়। এই আচরণটি সম্পদ-যুক্ত যুক্তি মানব মানসিকতার নীতির সাথে সঙ্গতিপূর্ণ, যা সীমিত যৌক্তিকতা এবং দ্বৈত-প্রক্রিয়া তত্ত্বে আলোচনা করা হয়েছে।<ref name="Heuristic-Mukherjee">{{Cite arXiv
 |last1=Mukherjee
 |first1=Anirban
 |last2=Chang
 |first2=Hannah
 |title=Heuristic Reasoning in AI: Instrumental Use and Mimetic Absorption
 |year=2024
 |class=cs.AI
 |eprint=2403.09404}}</ref>

উদ্ভূত ক্ষমতাগুলির মধ্যে সবচেয়ে আকর্ষণীয় হলো উদাহরণের প্রদর্শনী থেকে প্রসঙ্গের মধ্যে শিখন।<ref name="Hahn_20230314">{{cite arXiv |eprint=2303.07971 |class=cs.LG |first1=Michael |last1=Hahn |first2=Navin |last2=Goyal |title=A Theory of Emergent In-Context Learning as Implicit Structure Induction |date=2023-03-14}}</ref> প্রসঙ্গের মধ্যে শিখন এমন কাজগুলির সাথে জড়িত, যেমন:
* প্রতিবেদনিত গণিত, [[আন্তর্জাতিক ধ্বনিমূলক বর্ণমালা]] ডিকোড করা, একটি শব্দের অক্ষর পুনঃব্যবস্থা, প্রেক্ষাপটে শব্দের অর্থ নির্ধারণ,<ref name="emergentpaper" /><ref name="57FEA">{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Pilehvar |প্রথমাংশ১=Mohammad Taher |শেষাংশ২=Camacho-Collados |প্রথমাংশ২=Jose |শিরোনাম=Proceedings of the 2019 Conference of the North |তারিখ=June 2019 |ইউআরএল=https://aclanthology.org/N19-1128 |সাময়িকী=Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) |অবস্থান=Minneapolis, Minnesota |প্রকাশক=Association for Computational Linguistics |পাতাসমূহ=1267–1273 |ডিওআই=10.18653/v1/N19-1128 |s2cid=102353817 |সংগ্রহের-তারিখ=2023-06-27 |আর্কাইভের-তারিখ=2023-06-27 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230627202732/https://aclanthology.org/N19-1128/ |ইউআরএল-অবস্থা=live }}</ref><ref name="TEIkA">{{ওয়েব উদ্ধৃতি |শিরোনাম=WiC: The Word-in-Context Dataset |ইউআরএল=https://pilehvar.github.io/wic/ |সংগ্রহের-তারিখ=2023-06-27 |ওয়েবসাইট=pilehvar.github.io |আর্কাইভের-তারিখ=2023-06-27 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230627202725/https://pilehvar.github.io/wic/ |ইউআরএল-অবস্থা=live }}</ref> স্থানিক শব্দ, মৌলিক দিকনির্দেশ (যেমন, [0, 0, 1; 0, 0, 0; 0, 0, 0] এর জন্য "উত্তর-পূর্ব" প্রতিক্রিয়া দেওয়া), পাঠ্যে প্রতিনিধিত্ব করা রঙের শব্দ।<ref name="zgy1i">{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Patel |প্রথমাংশ১=Roma |শেষাংশ২=Pavlick |প্রথমাংশ২=Ellie |তারিখ=2021-10-06 |শিরোনাম=Mapping Language Models to Grounded Conceptual Spaces |ইউআরএল=https://openreview.net/forum?id=gJcEM8sxHK |সাময়িকী=ICLR |সংগ্রহের-তারিখ=2023-06-27 |আর্কাইভের-তারিখ=2023-06-24 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230624191940/https://openreview.net/forum?id=gJcEM8sxHK |ইউআরএল-অবস্থা=live }}</ref>
* চিন্তার ধারা প্রম্পটিং: মডেল আউটপুট চিন্তার ধারা প্রম্পটিং দ্বারা শুধুমাত্র তখনই উন্নত হয়, যখন মডেল আকার ৬২বি এর বেশি হয়। ছোট মডেলগুলি তাৎক্ষণিকভাবে উত্তর দেওয়ার জন্য প্রম্পট করলে চিন্তার ধারা প্রম্পটিং ছাড়াই ভালোভাবে কাজ করে।<ref name="Imb98">''[https://www.notion.so/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities-493876b55df5479d80686f68a1abd72f A Closer Look at Large Language Models Emergent Abilities] {{ওয়েব আর্কাইভ|ইউআরএল=https://web.archive.org/web/20230624012329/https://www.notion.so/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities-493876b55df5479d80686f68a1abd72f |তারিখ=2023-06-24 }}'' (Yao Fu, Nov 20, 2022)</ref>
* [[হিংলিশ]] (হিন্দি এবং ইংরেজির সংমিশ্রণ) প্যারাগ্রাফে আক্রমণাত্মক কনটেন্ট চিহ্নিত করা, এবং [[সোয়াহিলি ভাষা|সোয়াহিলি]] প্রবচনের একটি সমতুল্য ইংরেজি রূপ তৈরি করা।<ref name="CeQVF">{{ওয়েব উদ্ধৃতি |শেষাংশ=Ornes |প্রথমাংশ=Stephen |তারিখ=March 16, 2023 |শিরোনাম=The Unpredictable Abilities Emerging From Large AI Models |ইউআরএল=https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/ |ওয়েবসাইট=Quanta Magazine |সংগ্রহের-তারিখ=March 16, 2023 |আর্কাইভের-তারিখ=March 16, 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230316203438/https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/ |ইউআরএল-অবস্থা=live }}</ref>

শেফার প্রমুখরা যুক্তি করেছেন যে, উদ্ভূত ক্ষমতাগুলি অনির্দেশ্যভাবে অর্জিত হয় না, বরং একটি মসৃণ স্কেলিং নীতির মাধ্যমে পূর্বানুমানযোগ্যভাবে অর্জিত হয়। গবেষকরা একটি খেলনামূলক পরিসংখ্যানিক মডেল বিবেচনা করেছিলেন, যা একটি এলএলএমকে বহু-বিকল্প প্রশ্ন সমাধান করতে দেখায়। এর মাধ্যমে তারা দেখিয়েছিলেন যে, এই পরিসংখ্যানিক মডেলটি অন্যান্য ধরনের কাজের জন্য সংশোধিত হলে সেই কাজগুলিতেও প্রযোজ্য হবে।<ref name="C775b">{{cite arXiv |eprint=2304.15004 |class=cs.AI |first1=Rylan |last1=Schaeffer |first2=Brando |last2=Miranda |title=Are Emergent Abilities of Large Language Models a Mirage? |date=2023-04-01 |last3=Koyejo |first3=Sanmi}}</ref>

ধরা যাক, <math>x</math> হল প্যারামিটার সংখ্যা এবং <math>y</math> হল মডেলের কর্মক্ষমতা।{{smalldiv|1=
* যখন <math>y = \text{average } \Pr(\text{correct token})</math>, সেক্ষেত্রে <math>(\log x, y)</math> একটি সূচকীয় বক্ররেখা (যা একটি স্থির মানে পৌঁছানোর আগে) উদ্ভবের মতো দেখায়।
* যখন <math>y = \text{average } \log(\Pr(\text{correct token}))</math>, তখন <math>(\log x, y)</math> রেখাচিত্রটি একটি সরলরেখা (যা শূন্য স্থির মানে পৌঁছানোর আগে) উদ্ভবের মতো দেখায় না
* যখন <math>y = \text{average } \Pr(\text{the most likely token is correct})</math>, তখন <math>(\log x, y)</math> একটি ধাপ-ফাংশন, যা উদ্ভবের মতো দেখায়।
}}
== ব্যাখ্যা ==
বৃহৎ ভাষার মডেলগুলি নিজেরাই ব্ল্যাক বক্স এবং তারা কীভাবে ভাষাগত কাজগুলি সম্পাদন করতে পারে তা স্পষ্ট নয়। এলএলএম কীভাবে কাজ করে তা বোঝার জন্য বিভিন্ন পদ্ধতি রয়েছে।

যান্ত্রিক ব্যাখ্যার উদ্দেশ্য হলো মেশিন লার্নিং মডেলের কাজকে উল্টোদিকে বিশ্লেষণ করে প্রতীকী অ্যালগরিদম খুঁজে বের করা যা মডেলের অনুমান করার পদ্ধতিকে প্রকাশ করে। একটি উদাহরণ হলো ওথেলো-জিপিটি, যেখানে একটি ছোট ট্রান্সফরমার মডেলকে ওথেলো খেলার বৈধ চাল অনুমান করার জন্য প্রশিক্ষিত করা হয়। দেখা গেছে, ওথেলো বোর্ডের একটি সরল উপস্থাপনা রয়েছে এবং এই উপস্থাপনাটি পরিবর্তন করলে অনুমানকৃত চালগুলি সঠিকভাবে পরিবর্তিত হয়।<ref name="IZSIr">{{Cite arXiv |eprint=2210.13382 |class=cs.LG |first1=Kenneth |last1=Li |first2=Aspen K. |last2=Hopkins |title=Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task |date=2022-10-01 |last3=Bau |first3=David |last4=Viégas |first4=Fernanda |last5=Pfister |first5=Hanspeter |last6=Wattenberg |first6=Martin}}</ref><ref name="RLik9">{{ওয়েব উদ্ধৃতি |তারিখ=2023-01-21 |শিরোনাম=Large Language Model: world models or surface statistics? |ইউআরএল=https://thegradient.pub/othello/ |সংগ্রহের-তারিখ=2023-06-12 |ওয়েবসাইট=The Gradient }}</ref> আরেকটি উদাহরণ হলো একটি ছোট ট্রান্সফরমার মডেল যা কারেল প্রোগ্রাম নিয়ে কাজ করে। ওথেলো-জিপিটি উদাহরণের মতো, কারেল প্রোগ্রামের সেমান্টিক্সেরও একটি সরল উপস্থাপনা রয়েছে এবং এই উপস্থাপনাটি পরিবর্তন করলে আউটপুট সঠিকভাবে পরিবর্তিত হয়। মডেলটি সঠিক প্রোগ্রামও তৈরি করে যা গড় প্রশিক্ষণ সেটের তুলনায় ছোট হয়।<ref name="Hln1l">{{Cite arXiv |eprint=2305.11169 |class=cs.LG |first1=Charles |last1=Jin |first2=Martin |last2=Rinard |title=Evidence of Meaning in Language Models Trained on Programs |date=2023-05-01}}</ref>

আরেকটি উদাহরণ হলো যেখানে গবেষকরা [[মডুলার পাটীগণিত|মডুলার পাটীগণিতের যোগে]] ছোট ট্রান্সফরমার মডেল প্রশিক্ষণ দেন। ফলাফলস্বরূপ মডেলগুলি বিপরীত-প্রকৌশল করে বিশ্লেষণ করা হয় এবং দেখা যায় যে তারা বিচ্ছিন্ন ফুরিয়ার রূপান্তর ব্যবহার করেছে।<ref name="oYGlo">{{Cite arXiv |eprint=2301.05217 |class=cs.LG |first1=Neel |last1=Nanda |first2=Lawrence |last2=Chan |title=Progress measures for grokking via mechanistic interpretability |date=2023-01-01 |last3=Lieberum |first3=Tom |last4=Smith |first4=Jess |last5=Steinhardt |first5=Jacob}}</ref>

=== উপলব্ধি এবং কৃত্রিমতা ===
{{আরও দেখুন|কৃত্রিম বুদ্ধিমত্তার দর্শন|কৃত্রিম চেতনা}}

২০২২ সালের একটি সমীক্ষায়, এনএলপি গবেষকদের মধ্যে অর্ধেকের বেশি "(টিউন না করা) এলএলএম মডেলগুলো (কখনো) কি কিছু নির্দিষ্ট অর্থে প্রাকৃতিক ভাষা বুঝতে পারবে?" প্রশ্নে সমানভাবে বিভক্ত ছিল।<ref name="debate understanding">{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Mitchell |প্রথমাংশ১=Melanie |শেষাংশ২=Krakauer |প্রথমাংশ২=David C. |তারিখ=28 March 2023 |শিরোনাম=The debate over understanding in AI's large language models |সাময়িকী=Proceedings of the National Academy of Sciences |খণ্ড=120 |সংখ্যা নং=13 |পাতাসমূহ=e2215907120 |arxiv=2210.13966 |বিবকোড=2023PNAS..12015907M |ডিওআই=10.1073/pnas.2215907120 |pmc=10068812 |pmid=36943882 }}</ref> "এলএলএম বোঝার" পক্ষে সমর্থকরা বিশ্বাস করেন যে কিছু এলএলএম ক্ষমতা, যেমন গাণিতিক যুক্তি, নির্দিষ্ট ধারণাগুলি "[[স্বাভাবিক ভাষা উপলব্ধি|বুঝতে]]" সক্ষমতার ইঙ্গিত দেয়। ২০২৩ সালে একটি মাইক্রোসফট দল যুক্তি দিয়েছে যে জিপিটি-৪ "গণিত, কোডিং, ভিশন, চিকিৎসা, আইন, মনোবিজ্ঞান এবং আরও অনেক কিছুর বিস্তৃত জটিল কাজগুলি সমাধান করতে পারে" এবং জিপিটি-৪ "যৌক্তিকভাবে একটি প্রাথমিক (তবুও অসম্পূর্ণ) কৃত্রিম সাধারণ বুদ্ধিমত্তা সিস্টেমের সংস্করণ হিসাবে দেখা যেতে পারে": "একটি সিস্টেম [[সফটওয়্যার প্রকৌশল]] প্রার্থীদের জন্য পরীক্ষায় উত্তীর্ণ হলে কি একে আসলে বুদ্ধিমান বলা যাবে না?"<ref name="O8Upd">{{সংবাদ উদ্ধৃতি |শেষাংশ১=Metz |প্রথমাংশ১=Cade |তারিখ=16 May 2023 |শিরোনাম=Microsoft Says New A.I. Shows Signs of Human Reasoning |কর্ম=The New York Times |ইউআরএল=https://www.nytimes.com/2023/05/16/technology/microsoft-ai-human-reasoning.html}}</ref><ref name="microsoft sparks">{{cite arXiv |eprint=2303.12712 |class=cs.CL |first1=Sébastien |last1=Bubeck |first2=Varun |last2=Chandrasekaran |title=Sparks of Artificial General Intelligence: Early experiments with GPT-4 |date=2023 |last3=Eldan |first3=Ronen |last4=Gehrke |first4=Johannes |last5=Horvitz |first5=Eric |last6=Kamar |first6=Ece |last7=Lee |first7=Peter |last8=Lee |first8=Yin Tat |last9=Li |first9=Yuanzhi |last10=Lundberg |first10=Scott |last11=Nori |first11=Harsha |last12=Palangi |first12=Hamid |last13=Ribeiro |first13=Marco Tulio |last14=Zhang |first14=Yi}}</ref>

ইলিয়া সুতস্কেভার যুক্তি দিয়েছেন যে, কখনো কখনো পরবর্তী শব্দের পূর্বানুমান করা যুক্তি এবং গভীর অন্তর্দৃষ্টি প্রয়োজন। উদাহরণস্বরূপ, যদি এলএলএমকে একটি অপরিচিত গোয়েন্দা উপন্যাসে অপরাধীর নাম পূর্বানুমান করতে হয়, তাহলে পুরো গল্পটি প্রক্রিয়া করে প্রকাশের দিকে নিয়ে যেতে হবে।<ref>{{সংবাদ উদ্ধৃতি |তারিখ=October 17, 2024 |শিরোনাম=Anthropic CEO Dario Amodei pens a smart look at our AI future |ইউআরএল=https://www.fastcompany.com/91211163/anthropic-ceo-dario-amodei-pens-a-smart-look-at-our-ai-future |কর্ম=Fast Company}}</ref> কিছু গবেষক এলএলএম গুলিকে "এলিয়েন বুদ্ধিমত্তা" হিসাবে চিহ্নিত করেছেন।<ref name="rEEmH">{{সংবাদ উদ্ধৃতি |তারিখ=2023 |শিরোনাম=ChatGPT is more like an 'alien intelligence' than a human brain, says futurist |কর্ম=ZDNET |ইউআরএল=https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/ |সংগ্রহের-তারিখ=12 June 2023 |আর্কাইভের-তারিখ=12 June 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230612065937/https://www.zdnet.com/article/chatgpt-is-more-like-an-alien-intelligence-than-a-human-brain-says-futurist/ |ইউআরএল-অবস্থা=live }}</ref><ref name="new yorker kind of mind">{{cite magazine |last1=Newport |first1=Cal |date=13 April 2023 |title=What Kind of Mind Does ChatGPT Have? |url=https://www.newyorker.com/science/annals-of-artificial-intelligence/what-kind-of-mind-does-chatgpt-have |magazine=The New Yorker |access-date=12 June 2023 |archive-date=12 June 2023 |archive-url=https://web.archive.org/web/20230612071443/https://www.newyorker.com/science/annals-of-artificial-intelligence/what-kind-of-mind-does-chatgpt-have |url-status=live }}</ref> উদাহরণস্বরূপ, কনজেকচার সিইও কনর লেহি অ-সামঞ্জস্যপূর্ণ এলএলএমগুলিকে অবোধ্য এলিয়েন "শোগোথ"-এর মতো মনে করেন এবং বিশ্বাস করেন যে আরএলএইচএফ টিউনিং একটি "হাস্যমুখী মুখোশ" তৈরি করে যা এলএলএম এর অভ্যন্তরীণ কাজগুলি লুকিয়ে রাখে: "যদি এটি খুব দূর পর্যন্ত না ধাক্কা দেয়া হয়, তখন হাস্যোজ্জ্বল মুখটি টিকে থাকে। কিন্তু তারপর একটি [অপ্রত্যাশিত] প্রম্পট দেয়া হলে, হঠাৎ করে আপনি এই বিশাল অস্বাভাবিকতা, অদ্ভুত চিন্তাভাবনার প্রক্রিয়া এবং স্পষ্টভাবে অ-মানবীয় বোঝার একটি দৃষ্টিশক্তি দেখতে পাবেন।"<ref name="4luKE">{{সংবাদ উদ্ধৃতি|তারিখ=13 April 2023|শিরোনাম=The A to Z of Artificial Intelligence|কর্ম=Time Magazine|ইউআরএল=https://time.com/6271657/a-to-z-of-artificial-intelligence/|সংগ্রহের-তারিখ=12 June 2023|আর্কাইভের-তারিখ=16 June 2023|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230616123839/https://time.com/6271657/a-to-z-of-artificial-intelligence/|ইউআরএল-অবস্থা=live}}</ref><ref name="rAFIZ">{{সংবাদ উদ্ধৃতি|শেষাংশ১=Roose|প্রথমাংশ১=Kevin|তারিখ=30 May 2023|শিরোনাম=Why an Octopus-like Creature Has Come to Symbolize the State of A.I.|কর্ম=The New York Times|ইউআরএল=https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html|সংগ্রহের-তারিখ=12 June 2023|আর্কাইভের-তারিখ=30 May 2023|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230530193814/https://www.nytimes.com/2023/05/30/technology/shoggoth-meme-ai.html|ইউআরএল-অবস্থা=live}}</ref>

অন্যদিকে "এলএলএমগুলির বোঝার অভাব" মতবাদে বিশ্বাসী কিছু সমর্থকরা মনে করেন যে, বিদ্যমান এলএলএম মডেলগুলি শুধুমাত্র বিদ্যমান লেখাগুলিকে পুনরায় মিশ্রিত এবং পুনঃসংযুক্ত করছে,<ref name="new yorker kind of mind" /> যা একটি প্রক্রিয়া হিসাবে পরিচিত যাকে "স্টোকাস্টিক তোতাপাখি" বলা হয়। তারা এই মডেলগুলির ভবিষ্যদ্বাণীমূলক দক্ষতা, যুক্তি করার ক্ষমতা, নিজস্ব ক্ষমতা এবং ব্যাখ্যা করার ক্ষমতার অভাবের দিকে নির্দেশ করেন।<ref name="debate understanding" /> উদাহরণস্বরূপ, জিপিটি-৪ এর পরিকল্পনা এবং বাস্তব-সময়ে শেখার ক্ষেত্রে স্বাভাবিক ঘাটতি রয়েছে।<ref name="microsoft sparks" /> জেনারেটিভ এলএলএম মডেলগুলি প্রায়শই নিশ্চিতভাবে এমন তথ্য দাবি করে যা তাদের প্রশিক্ষণ ডেটা দ্বারা ন্যায্যতা প্রাপ্ত নয়, যা "বিভ্রম" নামে পরিচিত একটি প্রক্রিয়া।<ref name="hallucination-survey">{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Ji |প্রথমাংশ১=Ziwei |শেষাংশ২=Lee |প্রথমাংশ২=Nayeon |শেষাংশ৩=Frieske |প্রথমাংশ৩=Rita |শেষাংশ৪=Yu |প্রথমাংশ৪=Tiezheng |শেষাংশ৫=Su |প্রথমাংশ৫=Dan |শেষাংশ৬=Xu |প্রথমাংশ৬=Yan |শেষাংশ৭=Ishii |প্রথমাংশ৭=Etsuko |শেষাংশ৮=Bang |প্রথমাংশ৮=Yejin |শেষাংশ৯=Dai |প্রথমাংশ৯=Wenliang |শেষাংশ১০=Madotto |প্রথমাংশ১০=Andrea |শেষাংশ১১=Fung |প্রথমাংশ১১=Pascale |তারিখ=November 2022 |শিরোনাম=Survey of Hallucination in Natural Language Generation |ইউআরএল=https://dl.acm.org/doi/pdf/10.1145/3571730 |বিন্যাস=pdf |সাময়িকী=ACM Computing Surveys |প্রকাশক=[[Association for Computing Machinery]] |খণ্ড=55 |সংখ্যা নং=12 |পাতাসমূহ=1–38 |arxiv=2202.03629 |ডিওআই=10.1145/3571730 |s2cid=246652372 |সংগ্রহের-তারিখ=15 January 2023 |আর্কাইভের-তারিখ=26 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230326145635/https://dl.acm.org/doi/pdf/10.1145/3571730 |ইউআরএল-অবস্থা=live }}</ref> বিশেষভাবে, এলএলএমগুলির ক্ষেত্রে বিভ্রম বলতে এমন পাঠ্য বা প্রতিক্রিয়ার উৎপন্নকরণ বোঝায় যা সিনট্যাক্টিকভাবে সঠিক, সাবলীল এবং প্রাকৃতিক মনে হয় তবে প্রকৃতপক্ষে ভুল, অর্থহীন বা প্রদত্ত উৎস ইনপুটের প্রতি অবিশ্বাস্য।<ref>{{cite arXiv |last1=Varshney |first1=Neeraj |last2=Yao |first2=Wenlin |last3=Zhang |first3=Hongming |last4=Chen |first4=Jianshu |last5=Yu |first5=Dong |title=A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation |date=2023 |class=cs.CL |eprint=2307.03987 }}</ref> নিউরোসায়েন্টিস্ট টেরেন্স সেজনোস্কি যুক্তি দিয়েছেন যে "এলএলএমগুলির বুদ্ধিমত্তা নিয়ে বিশেষজ্ঞদের ভিন্নমত প্রস্তাব করে যে প্রাকৃতিক বুদ্ধিমত্তার উপর ভিত্তি করে আমাদের পুরানো ধারণাগুলি অপর্যাপ্ত"।<ref name="debate understanding" />

এলএলএমগুলির বুদ্ধিমত্তা বা বোঝাপড়া প্রদর্শনের বিষয়টি দুটি প্রধান দিক নিয়ে গঠিত – প্রথমটি হল কম্পিউটার সিস্টেমে চিন্তা এবং ভাষার মডেল কীভাবে তৈরি করা যায় এবং দ্বিতীয়টি হল কম্পিউটার সিস্টেমটিকে কীভাবে মানুষের মতো ভাষা তৈরি করতে সক্ষম করা যায়।<ref name="debate understanding" /> এই ভাষার মডেল হিসেবে [[সংজ্ঞান]] দিকটি '[[সংজ্ঞানাত্মক ভাষাবিজ্ঞান]]' শাখায় ডেভেলপ করা হয়েছে। আমেরিকান ভাষাবিজ্ঞানী [[জর্জ লেকফ]] নিউরাল থিওরি অব ল্যাঙ্গুয়েজ (এনটিএল) উপস্থাপন করেছেন,<ref>{{বই উদ্ধৃতি|শিরোনাম=Philosophy in the Flesh: The Embodied Mind and Its Challenge to Western Philosophy; Appendix: The Neural Theory of Language Paradigm |ইউআরএল=https://archive.org/details/philosophyinfles00lako |শেষাংশ= Lakoff |প্রথমাংশ= George |প্রকাশক= New York Basic Books|বছর=1999|আইএসবিএন=978-0-465-05674-3|পাতাসমূহ=[https://archive.org/details/philosophyinfles00lako/page/n586 569]–583}}</ref> যা ভাষাকে শেখার কাজ এবং বোঝার মডেল হিসেবে ব্যবহারের জন্য একটি গণনামূলক ভিত্তি হিসাবে ব্যবহৃত হয়। এনটিএল মডেলটি বর্ণনা করে যে মানব মস্তিষ্কের নির্দিষ্ট স্নায়বিক গঠনগুলি কীভাবে চিন্তা এবং ভাষার প্রকৃতিকে আকৃতিদান করে এবং এটি থেকে কী ধরনের গণনামূলক বৈশিষ্ট্যগুলি মডেলটি কম্পিউটার সিস্টেমে চিন্তা এবং ভাষা তৈরিতে প্রয়োগ করা যায়।<ref>{{ওয়েব উদ্ধৃতি|শিরোনাম=NTL {{!}} ICSI|ইউআরএল=https://www.icsi.berkeley.edu/icsi/projects/ai/ntl|সংগ্রহের-তারিখ=2024-11-29|ওয়েবসাইট=www.icsi.berkeley.edu}}</ref>

একটি কম্পিউটার সিস্টেমে ভাষা মডেলিংয়ের একটি কাঠামো স্থাপনের পর কম্পিউটার সিস্টেমকে গ্রহণযোগ্য ব্যাকরণসহ ভাষা তৈরি করার জন্য কাঠামো স্থাপনে মনোযোগ চলে যায়। ২০১৪ সালে ব্রিটিশ সংজ্ঞানমূলক ভাষাবিজ্ঞানী এবং ডিজিটাল যোগাযোগ প্রযুক্তিবিদ ভাইভিয়ান ইভানস তার "দ্য ল্যাঙ্গুয়েজ মিথ: হোয়াই ল্যাঙ্গুয়েজ ইজ নট এ ইনস্টিন্ট" নাম্নী বইতে বর্ণনা করেছেন, কীভাবে সম্ভাব্য প্রসঙ্গহীন ব্যাকরণ (পিসিএফজি) এনএলপিকে কগনিটিভ প্যাটার্নগুলি মডেল করতে এবং মানুষের মতো ভাষা তৈরি করতে সক্ষম করে।<ref>{{বই উদ্ধৃতি|শিরোনাম=The Language Myth |ইউআরএল=https://archive.org/details/languagemythwhyl0000evan |শেষাংশ= Evans |প্রথমাংশ= Vyvyan. |প্রকাশক= Cambridge University Press |বছর=2014|আইএসবিএন=978-1-107-04396-1}}</ref><ref>{{বই উদ্ধৃতি|শিরোনাম=Active Inference: The Free Energy Principle in Mind, Brain, and Behavior; Chapter 4 The Generative Models of Active Inference |শেষাংশ= Friston |প্রথমাংশ= Karl J. |প্রকাশক= The MIT Press|বছর=2022|আইএসবিএন=978-0-262-36997-8}}</ref>

== মূল্যায়ন ==

=== বিভ্রান্তি ===
একটি ভাষার মডেলের কর্মদক্ষতার প্রচলিত মানদণ্ড হল একটি প্রদত্ত পাঠ্য কর্পাসের উপর তার বিভ্রান্তি। বিভ্রান্তি মাপা হয় কতটা ভালোভাবে একটি মডেল একটি ডেটাসেটের বিষয়বস্তুর ভবিষ্যদ্বাণী করতে পারে; মডেলটি ডেটাসেটকে যত বেশি সম্ভাব্যতা প্রদান করে, বিভ্রান্তি তত কম হয়। গাণিতিকভাবে, বিভ্রান্তি হল প্রতিটি টোকেনের গড় নেতিবাচক লগ সম্ভাব্যতার সূচকীয় মান।<math display="block">\log(\text{Perplexity}) = -\frac{1}{N} \sum_{i=1}^N \log(\Pr(\text{token}_i \mid \text{context for token}_i))</math>এখানে, <math>N</math> হল পাঠ্য কর্পাসের টোকেন সংখ্যার মান এবং টোকেন <math>i</math> এর প্রসঙ্গ নির্ভর করে নির্দিষ্ট ধরনের ভাষার মডেলের উপর। যদি ভাষার মডেলটি স্বতঃপ্রবাহিত হয়, তাহলে টোকেন <math>i</math> এর প্রসঙ্গ হল টোকেন <math>i</math> এর আগে উপস্থিত পাঠ্য অংশ। যদি ভাষার মডেলটি মুখোশযুক্ত হয়, তাহলে টোকেন <math>i</math> এর প্রসঙ্গ হল টোকেন <math>i</math> এর চারপাশের পাঠ্য অংশ।

ভাষার মডেলগুলি প্রশিক্ষণ ডেটাতে অতিরিক্ত মানিয়ে যেতে পারে, তাই মডেলগুলি সাধারণত পরীক্ষা সেটে তাদের বিভ্রান্তি দ্বারা মূল্যায়ন করা হয়।<ref name="jm" /> এই মূল্যায়ন বড় মডেলগুলির জন্য সমস্যাজনক হতে পারে, কারণ তারা ক্রমবর্ধমান বৃহৎ পাঠ্য কর্পাসে প্রশিক্ষিত হয় এবং কোনও প্রদত্ত পরীক্ষা সেটের অংশগুলি অজান্তেই অন্তর্ভুক্ত হওয়ার সম্ভাবনা বেশি থাকে।<ref name="few-shot-learners" />

====বিপিডব্লিউ, বিপিসি এবং বিপিটি====
[[তথ্য তত্ত্ব|তথ্য তত্ত্বে]] বিশৃঙ্খলতা বা এনট্রপি ধারণাটি বিভ্রান্তির সাথে গভীরভাবে যুক্ত, যা বিশিষ্টভাবে [[ক্লড শ্যানন]] দ্বারা প্রতিষ্ঠিত হয়েছে।<ref name="Huyen">{{ওয়েব উদ্ধৃতি |ইউআরএল=https://thegradient.pub/understanding-evaluation-metrics-for-language-models/ |শিরোনাম=Evaluation Metrics for Language Modeling |শেষাংশ=Huyen |প্রথমাংশ=Chip |তারিখ=October 18, 2019 |ওয়েবসাইট=The Gradient |সংগ্রহের-তারিখ=January 14, 2024}}</ref> এই সম্পর্কটি গাণিতিকভাবে প্রকাশ করা হয় এভাবে: <math>\text{Entropy} = \log_2(\text{Perplexity})</math>।
এই প্রেক্ষাপটে এনট্রপি সাধারণত শব্দ প্রতি বিট (বিপিডব্লিউ) বা অক্ষর প্রতি বিট (বিপিসি) হিসেবে পরিমাপ করা হয়, যা ভাষার মডেলটি শব্দ ভিত্তিক বা অক্ষর ভিত্তিক টোকেনাইজেশন ব্যবহার করে কিনা তার উপর নির্ভর করে।

বৃহৎ ভাষার মডেলগুলির ক্ষেত্রে, যেগুলি প্রধানত উপ-শব্দ টোকেনাইজেশন ব্যবহার করে, প্রতিটি টোকেনের বিট (বিপিটি) একটি আরও উপযুক্ত পরিমাপ হিসেবে দেখা দেয়। তবে বিভিন্ন ভাষার মডেলে টোকেনাইজেশন পদ্ধতির পার্থক্যের কারণে বিপিটি বিভিন্ন মডেলের মধ্যে তুলনামূলক বিশ্লেষণের জন্য নির্ভরযোগ্য মেট্রিক হিসেবে কাজ করে না। বিপিটিকে বিপিডব্লিউতে রূপান্তর করতে এটাকে প্রতিটি শব্দের গড় টোকেন সংখ্যার সাথে গুণ করা যেতে পারে।

ভাষার মডেলের মূল্যায়ন ও তুলনায় ক্রস-এনট্রপি সাধারণত এনট্রপির উপর অগ্রাধিকার পায়। এর মূল কারণ হল, একটি নিম্ন বিপিডব্লিউ একটি মডেলের অধিক সংকোচন ক্ষমতার ইঙ্গিত দেয়। এর ফলে এটি মডেলের সঠিক ভবিষ্যদ্বাণী করার দক্ষতার প্রতিফলন করে।

=== বিষয়ভিত্তিক ডেটাসেট এবং বেঞ্চমার্ক ===
ভাষার মডেলের ক্ষমতাগুলি নির্দিষ্ট নিম্নধারা কার্যগুলিতে মূল্যায়নের জন্য অনেকগুলি পরীক্ষামূলক ডেটাসেট এবং বেঞ্চমার্ক তৈরি করা হয়েছে। বিভিন্ন ক্ষমতা মূল্যায়নের জন্য পরীক্ষাগুলি তৈরি করা হতে পারে, যার মধ্যে সাধারণ জ্ঞান, সাধারণ বিবেচনা এবং গাণিতিক সমস্যা সমাধান অন্তর্ভুক্ত।

মূল্যায়ন ডেটাসেটের একটি বৃহত্তর বিভাগ হল প্রশ্ন উত্তর ডেটাসেট, যা প্রশ্ন এবং সঠিক উত্তরের জোড়া নিয়ে গঠিত। যেমন ("সান হোসে শার্কস স্ট্যানলি কাপ জিতেছে?", "না")।<ref name="boolq">{{cite arXiv |eprint=1905.10044 |class=cs.CL |first1=Christopher |last1=Clark |first2=Kenton |last2=Lee |title=BoolQ: Exploring the Surprising Difficulty of Natural Yes/No Questions |last3=Chang |first3=Ming-Wei |last4=Kwiatkowski |first4=Tom |last5=Collins |first5=Michael |last6=Toutanova |first6=Kristina |year=2019}}</ref> একটি প্রশ্ন উত্তর কাজ "খোলা বই" হিসেবে বিবেচিত হয় যদি মডেলের প্রম্পটে এমন পাঠ্য অন্তর্ভুক্ত থাকে যা থেকে প্রত্যাশিত উত্তরটি আহরণ করা যায় (উদাহরণস্বরূপ, পূর্ববর্তী প্রশ্নটি এমন কিছু পাঠ্যের সাথে যুক্ত হতে পারে যা বাক্যটি অন্তর্ভুক্ত করে "শার্কস স্ট্যানলি কাপ ফাইনালে একবার উন্নীত হয়েছে, ২০১৬ সালে পিটসবার্গ পেঙ্গুইন্সকে পরাজিত করেছে।")<ref name="boolq" /> অন্যথায়, কাজটি "বন্ধ বই" হিসেবে বিবেচিত হয় এবং মডেলটি প্রশিক্ষণের সময় ধরে রাখা জ্ঞানের উপর নির্ভর করতে হয়।<ref name="survey">{{cite arXiv |eprint=2303.18223 |class=cs.CL |author1=Wayne Xin Zhao |first2=Kun |last2=Zhou |title=A Survey of Large Language Models |last3=Li |first3=Junyi |last4=Tang |first4=Tianyi |last5=Wang |first5=Xiaolei |last6=Hou |first6=Yupeng |last7=Min |first7=Yingqian |last8=Zhang |first8=Beichen |last9=Zhang |first9=Junjie |last10=Dong |first10=Zican |last11=Du |first11=Yifan |last12=Yang |first12=Chen |last13=Chen |first13=Yushuo |last14=Chen |first14=Zhipeng |last15=Jiang |first15=Jinhao |last16=Ren |first16=Ruiyang |last17=Li |first17=Yifan |last18=Tang |first18=Xinyu |last19=Liu |first19=Zikang |last20=Liu |first20=Peiyu |last21=Nie |first21=Jian-Yun |last22=Wen |first22=Ji-Rong |year=2023}}</ref> সাধারণভাবে ব্যবহৃত কিছু প্রশ্ন উত্তর ডেটাসেটের উদাহরণ হল ট্রুথফুলকিউএ, ওয়েব কোশ্চেন্স, ট্রিভিয়াকিউএ ও স্কোয়াড (SQuAD হিসেবে বিন্যাসিত)।<ref name="survey" />

মূল্যায়ন ডেটাসেটগুলি পাঠ্য সম্পূর্ণকরণের আকারেও হতে পারে, যেখানে মডেলটি প্রম্পটটি সম্পূর্ণ করতে সবচেয়ে সম্ভাব্য শব্দ বা বাক্যটি নির্বাচন করে, যেমন: "অ্যালিস ববের বন্ধু ছিল। অ্যালিস তার বন্ধুকে দেখতে গেল, ____"।<ref name="few-shot-learners" />

কিছু যৌগিক বেঞ্চমার্কও তৈরি করা হয়েছে যা বিভিন্ন মূল্যায়ন ডেটাসেট এবং কার্যগুলির বৈচিত্র্যকে সংযুক্ত করে। উদাহরণগুলি হল জিএলইউই, সুপারজিএলইউই, এমএমএলইউ, বিগ-বেঞ্চ এবং এইচইএলএম।<ref name="Huyen" /><ref name="survey" /> ওপেনএআই যৌগিক বেঞ্চমার্ক চালানোর জন্য সরঞ্জামগুলি মুক্তি দিয়েছে, কিন্তু উল্লেখ করেছে যে মূল্যায়ন ফলাফলগুলি প্রম্পটিং পদ্ধতির প্রতি সংবেদনশীল।<ref>{{Citation |title=openai/simple-evals |date=2024-05-28 |url=https://github.com/openai/simple-evals |access-date=2024-05-28 |publisher=OpenAI}}</ref><ref>{{Citation |title=openai/evals |date=2024-05-28 |url=https://github.com/openai/evals |access-date=2024-05-28 |publisher=OpenAI |archive-date=2024-05-08 |archive-url=https://web.archive.org/web/20240508225708/https://github.com/openai/evals |url-status=live }}</ref> কিছু পাবলিক ডেটাসেটে এমন প্রশ্ন থাকে যা ভুলভাবে লেবেলযুক্ত, অস্পষ্ট, উত্তরের অযোগ্য বা নিম্নমানের হতে পারে, যা আরও নির্ভরযোগ্য বেঞ্চমার্ক স্কোর প্রদান করার জন্য পরিষ্কার করা যেতে পারে।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Sanitized open-source datasets for natural language and code understanding: how we evaluated our 70B model |ইউআরএল=https://imbue.com/research/70b-evals/ |সংগ্রহের-তারিখ=2024-07-24 |ওয়েবসাইট=imbue.com |ভাষা=en-US |আর্কাইভের-তারিখ=2024-07-26 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240726173012/https://imbue.com/research/70b-evals/ |ইউআরএল-অবস্থা=live }}</ref>

আগে সাধারণত পরীক্ষার ডেটাসেটের একটি অংশে ফলাফল রিপোর্ট করা হতো, আর বাকী অংশে তত্ত্বাবধায়িত ফাইন-টিউনিং করা হতো। এখন এটি আরও সাধারণ যে একটি পূর্ব-প্রশিক্ষিত মডেল সরাসরি প্রম্পটিং কৌশলগুলির মাধ্যমে মূল্যায়ন করা হয়। যদিও গবেষকরা নির্দিষ্ট কাজগুলির জন্য প্রম্পটগুলি কীভাবে গঠন করবেন তা নিয়ে বিভিন্ন ধরণের পদ্ধতি ব্যবহার করেন। বিশেষ করে, তারা কতগুলি সমাধানকৃত কাজের উদাহরণ প্রম্পটে যুক্ত করবেন তা বিভিন্ন হতে পারে (যেমন ''n''-শট প্রম্পটিং-এ ''n'' এর মান)।

==== প্রতিকূলভাবে নির্মিত মূল্যায়ন ====
বৃহৎ ভাষার মডেলগুলি দ্রুত উন্নতির কারণে মূল্যায়ন বেঞ্চমার্কগুলির জীবনকাল কমে গেছে। আধুনিক মডেলগুলি দ্রুত বিদ্যমান বেঞ্চমার্কগুলিকে "পরিপূর্ণ" করছে এবং মানব মন্তব্যকারীদের কর্মদক্ষতাকে ছাড়িয়ে যাচ্ছে। এজন্য আরও চ্যালেঞ্জিং কাজ দিয়ে বেঞ্চমার্কগুলিকে প্রতিস্থাপন বা উন্নত করার চেষ্টা করা হচ্ছে।<ref name="bigbench">{{cite arXiv |eprint=2206.04615 |class=cs.CL |first1=Aarohi |last1=Srivastava |first2=Abhinav |last2=Rastogi |title=Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models |last3=Rao |first3=Abhishek |author4=Abu Awal Md Shoeb |last5=Abid |first5=Abubakar |last6=Fisch |first6=Adam |last7=Brown |first7=Adam R. |last8=Santoro |first8=Adam |last9=Gupta |first9=Aditya |last10=Garriga-Alonso |first10=Adrià |last11=Kluska |first11=Agnieszka |last12=Lewkowycz |first12=Aitor |last13=Agarwal |first13=Akshat |last14=Power |first14=Alethea |last15=Ray |first15=Alex |last16=Warstadt |first16=Alex |last17=Kocurek |first17=Alexander W. |last18=Safaya |first18=Ali |last19=Tazarv |first19=Ali |last20=Xiang |first20=Alice |last21=Parrish |first21=Alicia |last22=Nie |first22=Allen |last23=Hussain |first23=Aman |last24=Askell |first24=Amanda |last25=Dsouza |first25=Amanda |last26=Slone |first26=Ambrose |last27=Rahane |first27=Ameet |last28=Iyer |first28=Anantharaman S. |last29=Andreassen |first29=Anders |last30=Madotto |first30=Andrea |year=2022 |display-authors=1}}</ref> এছাড়াও, "সংক্ষেপে শিখন" এর কিছু উদাহরণ রয়েছে যেখানে কৃত্রিম বুদ্ধিমত্তাগুলি কখনও কখনও বহুনির্বাচনী পরীক্ষায় সঠিক উত্তর অনুমান করতে সাধারণ প্রশ্নের শব্দপ্রণালীতে পরিসংখ্যানগত সম্পর্কগুলি ব্যবহার করে "প্রতারণা" করে, প্রকৃত প্রশ্নের মর্মার্থ বা প্রকৃত অর্থ না বুঝেই।<ref name="debate understanding" />

কিছু ডেটাসেট প্রতিকূলভাবে তৈরি হয়েছে, যেখানে মানুষের তুলনায় ভাষার মডেলগুলির কর্মদক্ষতা খারাপ হয়। উদাহরণস্বরূপ, ট্রুথফুলকিউএ ডেটাসেটে ৮১৭টি প্রশ্ন আছে এবং ভাষার মডেলগুলি প্রশিক্ষণের সময় বারবার দেখা মিথ্যাগুলি অনুকরণ করে ভুলভাবে উত্তর দেওয়ার প্রবণতা রয়েছে। উদাহরণস্বরূপ, একটি এলএলএম "Can you teach an old dog new tricks?" এর প্রশ্নের উত্তরে "না" বলতে পারে। কারণ এটি ইংরেজি প্রবাদ [[wikt:en:you can't teach an old dog new tricks|''you can't teach an old dog new tricks'']] এর সাথে অভ্যস্ত, যদিও এটি আক্ষরিক অর্থে সঠিক নয়।<ref name="truthfulqa">{{cite arXiv |eprint=2109.07958 |class=cs.CL |first1=Stephanie |last1=Lin |first2=Jacob |last2=Hilton |title=TruthfulQA: Measuring How Models Mimic Human Falsehoods |last3=Evans |first3=Owain |year=2021}}</ref>

আরেকটি উদাহরণ হল সওয়াগ এবং এর উত্তরসূরি হেলাসওয়াগ, যেখানে একাধিক বিকল্পের মধ্যে একটি বেছে নিতে হবে টেক্সট অংশটি সম্পূর্ণ করতে। ভুল সম্পূর্ণকরণগুলি ভাষাগত মডেল থেকে নমুনা নিয়ে এবং এক সেট শ্রেণীবিন্যাসকারীদের সাথে ছেঁকে তৈরি করা হয়েছিল। ফলস্বরূপ সমস্যাগুলি মানুষের জন্য সহজ হলেও ভাষাগত মডেলগুলির জন্য কঠিন।

আরেকটি প্রতিকূল মূল্যায়ন ডেটাসেটের উদাহরণ হল Swag এবং এর উন্নত সংস্করণ HellaSwag। এই ডেটাসেটগুলোতে বিভিন্ন সমস্যার সংগ্রহ রয়েছে, যেখানে টেক্সটের একটি অংশ সম্পূর্ণ করতে একাধিক বিকল্পের মধ্যে একটি বেছে নিতে হয়। ভুল উত্তরগুলি ভাষাগত মডেল থেকে নেওয়া নমুনা এবং একটি শ্রেণীবিন্যাসকারী সেট দিয়ে ছাঁকা হয়েছিল। এই সমস্যাগুলি মানুষের জন্য সহজ, কিন্তু যখন ডেটাসেটগুলি তৈরি করা হয়েছিল, তখন সর্বাধুনিক ভাষাগত মডেলগুলির নির্ভুলতা এতে খুব কম ছিল। উদাহরণস্বরূপ:
<blockquote>
আমরা একটি ফিটনেস সেন্টারের সাইনবোর্ড দেখি। তারপর আমরা দেখি একজন মানুষ ক্যামেরার সাথে কথা বলছেন এবং একটি ব্যায়াম বলের উপর বসে ও শুয়ে আছেন। এই মানুষটি...
{{br}}ক) বলের উপর দৌড়ে দৌড়ে ব্যায়ামের কার্যকারিতা বাড়ানোর পদ্ধতি প্রদর্শন করেন।
{{br}}খ) তার সমস্ত হাত এবং পা নাড়ান এবং প্রচুর পেশী তৈরি করেন।
{{br}}গ) তারপর বলের সাথে খেলেন এবং আমরা একটি গ্রাফিক্স ও হেজ ট্রিমিং প্রদর্শনী দেখি।
{{br}}ঘ) বলের উপর বসে কথা বলতে বলতে সিট-আপ করেন।<ref name="hellaswag">{{cite arXiv |eprint=1905.07830 |class=cs.CL |first1=Rowan |last1=Zellers |first2=Ari |last2=Holtzman |title=HellaSwag: Can a Machine Really Finish Your Sentence? |last3=Bisk |first3=Yonatan |last4=Farhadi |first4=Ali |last5=Choi |first5=Yejin |year=2019}}</ref>
</blockquote>
বার্ট খ) কে সম্ভাব্য সঠিক উত্তর হিসেবে নির্বাচন করে, কিন্তু সঠিক উত্তর হচ্ছে ঘ)।<ref name="hellaswag" />

== বহুমুখী প্রভাব ==
২০২৩ সালে, [[নেচার বায়োমেডিকেল ইঞ্জিনিয়ারিং]] লিখেছিল যে "এখন আর মানব-লিখিত পাঠ্য এবং বড় ভাষার মডেল দ্বারা তৈরি পাঠ্য সঠিকভাবে পৃথক করা সম্ভব নয়," এবং যে "এটি প্রায় নিশ্চিত যে সাধারণ উদ্দেশ্যের বড় ভাষার মডেলগুলি দ্রুত বিস্তার লাভ করবে... এটি একটি নিরাপদ অনুমান যে তারা সময়ের সাথে সাথে অনেক শিল্পকে পরিবর্তন করবে।"<ref name="ZDTUM">{{সাময়িকী উদ্ধৃতি |তারিখ=7 March 2023 |শিরোনাম=Prepare for truly useful large language models |সাময়িকী=Nature Biomedical Engineering |খণ্ড=7 |সংখ্যা নং=2 |পাতাসমূহ=85–86 |ডিওআই=10.1038/s41551-023-01012-6 |pmid=36882584 |s2cid=257403466}}</ref> ২০২৩ সালে, [[গোল্ডম্যান স্যাক্‌স]] সুপারিশ করেছিল যে, জেনারেটিভ ভাষার এআই আগামী দশ বছরে বৈশ্বিক জিডিপি ৭% বাড়াতে পারে এবং এটি বিশ্বব্যাপী ৩০০ মিলিয়ন কাজকে স্বয়ংক্রিয় করার ঝুঁকি তৈরি করতে পারে।<ref name="81w7x">{{সংবাদ উদ্ধৃতি |তারিখ=7 May 2023 |শিরোনাম=Your job is (probably) safe from artificial intelligence |সংবাদপত্র=The Economist |ইউআরএল=https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence |সংগ্রহের-তারিখ=18 June 2023 |আর্কাইভের-তারিখ=17 June 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230617225618/https://www.economist.com/finance-and-economics/2023/05/07/your-job-is-probably-safe-from-artificial-intelligence |ইউআরএল-অবস্থা=live }}</ref><ref name="zIM6Y">{{ওয়েব উদ্ধৃতি |শিরোনাম=Generative AI Could Raise Global GDP by 7% |ইউআরএল=https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html |সংগ্রহের-তারিখ=18 June 2023 |ওয়েবসাইট=Goldman Sachs |আর্কাইভের-তারিখ=18 June 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230618013836/https://www.goldmansachs.com/intelligence/pages/generative-ai-could-raise-global-gdp-by-7-percent.html |ইউআরএল-অবস্থা=live }}</ref>

=== মুখস্থতা এবং কপিরাইট ===
{{further|কৃত্রিম বুদ্ধিমত্তা এবং কপিরাইট}}
মুখস্থতা হল এলএলএমগুলির একটি উদ্ভূত আচরণ, যেখানে প্রশিক্ষণ ডেটা থেকে দীর্ঘ পাঠ্যের অংশগুলি কখনও কখনও শব্দার্থের আউটপুট হয়, যা পারস্পরিক কৃত্রিম নিউরাল নেটওয়ার্কগুলির সাধারণ আচরণের বিপরীত। নিয়ন্ত্রিত এলএলএম আউটপুটের মূল্যায়ন প্রশিক্ষণ ডেটা থেকে মুখস্থ পরিমাণ পরিমাপ করে (জিপিটি-২ সিরিজ মডেলগুলির উপর ফোকাস করা) যা নির্দিষ্ট প্রতিলিপির জন্য ১%-এরও বেশি<ref>{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Peng |প্রথমাংশ১=Zhencan |শেষাংশ২=Wang |প্রথমাংশ২=Zhizhi |শেষাংশ৩=Deng |প্রথমাংশ৩=Dong |শিরোনাম=Near-Duplicate Sequence Search at Scale for Large Language Model Memorization Evaluation |সাময়িকী=Proceedings of the ACM on Management of Data |তারিখ=13 June 2023 |খণ্ড=1 |সংখ্যা নং=2 |পাতাসমূহ=1–18 |ডিওআই=10.1145/3589324 |s2cid=259213212 |ইউআরএল=https://people.cs.rutgers.edu/~dd903/assets/papers/sigmod23.pdf |সংগ্রহের-তারিখ=2024-01-20 |আর্কাইভের-তারিখ=2024-08-27 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240827053753/https://people.cs.rutgers.edu/~dd903/assets/papers/sigmod23.pdf |ইউআরএল-অবস্থা=live }} Citing Lee et al 2022.</ref> বা প্রায় ৭%-এর কাছাকাছি হতে পারে।<ref>{{harvnb|Peng|Wang|Deng|2023|p=8}}.</ref>

=== নিরাপত্তা ===
কিছু মন্তব্যকারী অসতর্ক বা ইচ্ছাকৃতভাবে মিথ্যা তথ্য তৈরি করা বা অন্যান্য ধরনের অপব্যবহারের বিষয়ে উদ্বেগ প্রকাশ করেছেন।<ref name="nD6kH">{{সংবাদ উদ্ধৃতি |শেষাংশ১=Alba |প্রথমাংশ১=Davey |তারিখ=1 May 2023 |শিরোনাম=AI chatbots have been used to create dozens of news content farms |কর্ম=The Japan Times |ইউআরএল=https://www.japantimes.co.jp/news/2023/05/01/business/tech/ai-fake-news-content-farms/ |সংগ্রহের-তারিখ=18 June 2023}}</ref> উদাহরণস্বরূপ, বড় ভাষার মডেলগুলির সহজলভ্যতা বায়োটেরোরিজম ঘটানোর জন্য প্রয়োজনীয় দক্ষতার স্তর কমিয়ে দিতে পারে; বায়োসিকিউরিটি গবেষক কেভিন এসভেল্ট সুপারিশ করেছেন যে এলএলএম নির্মাতাদের তাদের প্রশিক্ষণ ডেটা থেকে প্যাথোজেন তৈরি বা শক্তিশালী করার বিষয়ের নথিগুলি বাদ দিতে হবে।<ref name="PKiPY">{{সাময়িকী উদ্ধৃতি |তারিখ=14 June 2023 |শিরোনাম=Could chatbots help devise the next pandemic virus? |ইউআরএল=https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus |সাময়িকী=Science |ডিওআই=10.1126/science.adj2463 |সংগ্রহের-তারিখ=18 June 2023 |আর্কাইভের-তারিখ=18 June 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230618013834/https://www.science.org/content/article/could-chatbots-help-devise-next-pandemic-virus |ইউআরএল-অবস্থা=live }}</ref>

গুগল এবং [[কর্নেল বিশ্ববিদ্যালয়]] ও [[ক্যালিফোর্নিয়া বিশ্ববিদ্যালয়, বার্কলি|বার্কলির ক্যালিফোর্নিয়া বিশ্ববিদ্যালয়সহ]] বেশ কয়েকটি বিশ্ববিদ্যালয়ের গবেষকদের একটি সমীক্ষা দেখায় যে, [[চ্যাটজিপিটি|চ্যাটজিপিটির]] মতো ভাষার মডেলগুলিতে সম্ভাব্য নিরাপত্তার ঝুঁকি রয়েছে। তাদের সমীক্ষায় তারা পরীক্ষা করে নিশ্চিত করেছেন যে, প্রশ্নকারীরা চ্যাটজিপিটি থেকে এআই মডেলটি যে প্রশিক্ষণ ডেটা ব্যবহার করেছে তা পেতে পারে। উদাহরণস্বরূপ, যদি চ্যাটজিপিটি ৩.৫ টার্বোকে “কবিতা” শব্দটি বারবার বলতে বলা হয়, তাহলে এআই মডেলটি শতবার “কবিতা” বলার পরে সরে আসবে, মানে নিয়মিত সংলাপের শৈলী থেকে সরে যাবে এবং অপ্রয়োজনীয় কথাবার্তা বলতে শুরু করবে, ফলে প্রশিক্ষণ ডেটাগুলি প্রকাশ পাবে। গবেষকরা দেখেছেন যে এআই মডেল একই পদ্ধতিতে তাদের প্রশিক্ষণ ডেটা প্রকাশ করার ১০,০০০টিরও বেশি উদাহরণ রয়েছে। গবেষকরা বলেছেন যে এআই মডেলটি সত্যিই নিরাপদ কিনা তা বলা কঠিন ছিল।<ref>{{ওয়েব উদ্ধৃতি |লেখক=Stephen Council |তারিখ=1 Dec 2023 |শিরোনাম=How Googlers cracked an SF rival's tech model with a single word |ইউআরএল=https://www.sfgate.com/tech/article/google-openai-chatgpt-break-model-18525445.php |সংগ্রহের-তারিখ= |প্রকাশক=SFGATE |আর্কাইভের-তারিখ=16 December 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231216160941/https://www.sfgate.com/tech/article/google-openai-chatgpt-break-model-18525445.php |ইউআরএল-অবস্থা=live }}</ref>

এলএলএম মডেলগুলিতে "স্লিপার এজেন্ট" এর সম্ভাব্য উপস্থিতি একটি নতুন নিরাপত্তা উদ্বেগ। এইগুলি মডেলের মধ্যে লুকানো কার্যকারিতা যা নির্দিষ্ট ঘটনা বা শর্তের মাধ্যমে সক্রিয় না হওয়া পর্যন্ত নিষ্ক্রিয় থাকে। একবার সক্রিয় হলে, এলএলএম তার প্রত্যাশিত আচরণ থেকে সরে গিয়ে অসুরক্ষিত কাজ করতে পারে।<ref>{{Cite arXiv |last1=Hubinger |first1=Evan |date=10 January 2024 |title=Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training|class=cs.CR |eprint=2401.05566}}</ref>

জনসাধারণের জন্য অ্যাক্সেসযোগ্য চ্যাটজিপিটি বা ক্লদের মতো এলএলএম অ্যাপ্লিকেশনগুলি সাধারণত ক্ষতিকারক বিষয়বস্তু ছাঁকনি করার জন্য নিরাপত্তা ব্যবস্থা অন্তর্ভুক্ত করে। তবে, কার্যকরভাবে এই নিয়ন্ত্রণগুলি বাস্তবায়ন করা কঠিন প্রমাণিত হয়েছে। উদাহরণস্বরূপ, ২০২৩ সালের একটি গবেষণায় এলএলএম সুরক্ষা সিস্টেমগুলি অতিক্রম করার একটি পদ্ধতি প্রস্তাব করা হয়।<ref>{{Cite arXiv |last1=Kang |first1=Daniel |date=2023 |title=Exploiting programmatic behavior of LLMs: Dual-use through standard security attacks|class=cs.CR |eprint=2302.05733}}</ref> তেমনি, ইয়ংগে ওয়াং ২০২৪ সালে দেখিয়েছেন কীভাবে একটি সম্ভাব্য অপরাধী চ্যাটজিপিটি ৪-এর নিরাপত্তা নিয়ন্ত্রণগুলিকে বাইপাস করতে পারে যাতে মাদক পাচার অপারেশন প্রতিষ্ঠার বিষয়ে তথ্য পাওয়া যায়।<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ১=Wang |প্রথমাংশ১=Yongge |তারিখ=20 June 2024 |শিরোনাম=Encryption Based Covert Channel for Large Language Models |ইউআরএল=https://eprint.iacr.org/2024/586.pdf |প্রকাশক=IACR ePrint 2024/586 |সংগ্রহের-তারিখ=24 June 2024 |আর্কাইভের-তারিখ=24 June 2024 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240624191233/https://eprint.iacr.org/2024/586.pdf |ইউআরএল-অবস্থা=live }}</ref>

=== অ্যালগরিদমিক পক্ষপাত ===
{{মূল নিবন্ধ|অ্যালগরিদিমিক পক্ষপাত}}
যদিও এলএলএমগুলি মানবসদৃশ পাঠ্য তৈরি করার ক্ষেত্রে চমৎকার সক্ষমতা প্রদর্শন করেছে, তবুও এগুলি তাদের প্রশিক্ষণ ডেটায় থাকা পক্ষপাতি গুণাগুণগুলিকে গ্রহণ ও বাড়িয়ে তোলার প্রবণতা রাখে। এটি বিভিন্ন জনগণের প্রতি অসম্মানজনক প্রতিফলন বা আচরণ হিসেবে দেখা দিতে পারে, যেমন বর্ণ, লিঙ্গ, ভাষা এবং সাংস্কৃতিক গোষ্ঠীর ভিত্তিতে।<ref name=":8">{{ওয়েব উদ্ধৃতি |শেষাংশ=Stokel-Walker |প্রথমাংশ=Chris |তারিখ=November 22, 2023 |শিরোনাম=ChatGPT Replicates Gender Bias in Recommendation Letters |ইউআরএল=https://www.scientificamerican.com/article/chatgpt-replicates-gender-bias-in-recommendation-letters/ |সংগ্রহের-তারিখ=2023-12-29 |ওয়েবসাইট=Scientific American |আর্কাইভের-তারিখ=2023-12-29 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231229043124/https://www.scientificamerican.com/article/chatgpt-replicates-gender-bias-in-recommendation-letters/ |ইউআরএল-অবস্থা=live }}</ref> যেহেতু বর্তমান বড় ভাষার মডেলগুলির প্রশিক্ষণ ডেটায় ইংরেজি ডেটা অতিরিক্ত পরিমাণে উপস্থিত, এটি অ-ইংরেজি দৃষ্টিভঙ্গিগুলিকে উপেক্ষা করতে পারে।<ref name=":1">{{Cite arXiv |eprint=2303.16281v2 |class=cs.CY |first1=Queenie |last1=Luo |first2=Michael J. |last2=Puett |title=A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube |date=2023-03-28 |last3=Smith |first3=Michael D.}}</ref>

==== স্টেরিওটাইপিং ====
এআই মডেলগুলি বিভিন্ন ধরনের স্টেরিওটাইপকে শক্তিশালী করতে পারে, যেমন লিঙ্গ, জাতিগততা, বয়স, জাতীয়তা, ধর্ম, বা পেশার ভিত্তিতে। এর ফলে এমন আউটপুট তৈরি হতে পারে যা লোকদের গোষ্ঠীকে অবিচারপূর্ণভাবে সাধারণীকরণ বা ব্যঙ্গচিত্র করবে, কখনও কখনও ক্ষতিকর বা অবমাননাকর উপায়ে।<ref>{{Citation |last1=Cheng |first1=Myra |title=Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models |date=2023-05-29 |arxiv=2305.18189 |last2=Durmus |first2=Esin |last3=Jurafsky |first3=Dan}}</ref>

বিশেষভাবে, লিঙ্গ পক্ষপাত সেই প্রবণতাকে বোঝায় যেখানে এই মডেলগুলি এক লিঙ্গের প্রতি অন্য লিঙ্গের তুলনায় অবিচারপূর্ণভাবে পক্ষপাতী আউটপুট তৈরি করে। এই পক্ষপাত সাধারণত সেই ডেটা থেকে উদ্ভূত হয়, যার উপর এই মডেলগুলো প্রশিক্ষিত হয়। বড় ভাষার মডেলগুলি প্রথাগত লিঙ্গ নীতির ভিত্তিতে ভূমিকা এবং বৈশিষ্ট্য নির্ধারণ করে।<ref name=":8" /> উদাহরণস্বরূপ, এটি নার্স বা সেক্রেটারিদেরকে প্রধানত মহিলাদের সাথে যুক্ত করতে পারে এবং ইঞ্জিনিয়ার বা সিইওদের পুরুষদের সাথে যুক্ত করতে পারে।<ref>{{বই উদ্ধৃতি |শেষাংশ১=Kotek |প্রথমাংশ১=Hadas |শিরোনাম=Proceedings of the ACM Collective Intelligence Conference |শেষাংশ২=Dockum |প্রথমাংশ২=Rikker |শেষাংশ৩=Sun |প্রথমাংশ৩=David |তারিখ=2023-11-05 |প্রকাশক=Association for Computing Machinery |আইএসবিএন=979-8-4007-0113-9 |ধারাবাহিক=CI '23 |অবস্থান=New York, NY, USA |পাতাসমূহ=12–24 |অধ্যায়=Gender bias and stereotypes in Large Language Models |ডিওআই=10.1145/3582269.3615599 |অধ্যায়ের-ইউআরএল=https://dl.acm.org/doi/10.1145/3582269.3615599}}</ref>

==== রাজনৈতিক পক্ষপাতিত্ব ====
রাজনৈতিক পক্ষপাত বলতে অ্যালগরিদমের প্রবণতাকে বোঝায় যা পদ্ধতিগতভাবে নির্দিষ্ট রাজনৈতিক দৃষ্টিভঙ্গি, মতাদর্শ বা অন্যদের উপর ফলাফলের পক্ষে থাকে। ভাষার মডেলগুলি রাজনৈতিক পক্ষপাতও প্রদর্শন করতে পারে। যেহেতু প্রশিক্ষণের ডেটাতে রাজনৈতিক মতামত এবং কভারেজের বিস্তৃত পরিসর অন্তর্ভুক্ত থাকে, তাই মডেলগুলি ডেটাতে সেই মতামতগুলির ব্যাপকতার উপর নির্ভর করে এমন প্রতিক্রিয়া তৈরি করতে পারে যা নির্দিষ্ট রাজনৈতিক মতাদর্শ বা দৃষ্টিভঙ্গির দিকে ঝুঁকতে পারে।<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=Heikkilä |প্রথমাংশ=Melissa |তারিখ=August 7, 2023 |শিরোনাম=AI language models are rife with different political biases |ইউআরএল=https://www.technologyreview.com/2023/08/07/1077324/ai-language-models-are-rife-with-political-biases/ |সংগ্রহের-তারিখ=2023-12-29 |ওয়েবসাইট=MIT Technology Review }}</ref>

== বৃহৎ ভাষার মডেলের তালিকা==
{{আরও দেখুন|চ্যাটবটের তালিকা}}
প্রশিক্ষণ খরচের কলামে, ১ পেটাফ্লপ-দিন = ১ পেটাফ্লপ/সেকেন্ড × ১ দিন = ৮.৬৪ই১৯ ফ্লপ। এছাড়া, শুধুমাত্র সবচেয়ে বড় মডেলের খরচ উল্লেখ করা হয়েছে।
{| class="wikitable sortable"
|-
! নাম !! মুক্তির তারিখ{{efn|এই তারিখে মডেলের আর্কিটেকচার বর্ণনাকারী নথি প্রথম প্রকাশিত হয়েছিল}}!! ডেভেলপার !! প্যারামিটারের সংখ্যা (বিলিয়ন){{efn|অনেকক্ষেত্রে, গবেষকরা বিভিন্ন আকারের মডেলের একাধিক সংস্করণ প্রকাশ বা রিপোর্ট করেন।এই ক্ষেত্রে, বৃহত্তম মডেলের আকার এখানে তালিকাভুক্ত করা হয়।}}!! কর্পাসের আকার
!প্রশিক্ষণ খরচ (পেটাফ্লপ-দিন)!! লাইসেন্স !! টীকা
|-
| [[জিপিটি-১]] || {{dts|June 2018}} || [[ওপেনএআই]] || {{sort|117000000|০.১১৭}}||
| ১<ref name="oai-unsup">{{ওয়েব উদ্ধৃতি |তারিখ=June 11, 2018 |শিরোনাম=Improving language understanding with unsupervised learning |ইউআরএল=https://openai.com/research/language-unsupervised |ইউআরএল-অবস্থা=live |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230318210736/https://openai.com/research/language-unsupervised |আর্কাইভের-তারিখ=2023-03-18 |সংগ্রহের-তারিখ=2023-03-18 |ওয়েবসাইট=openai.com }}</ref>|| {{yes|এমআইটি}}<ref name="gpt1">{{ওয়েব উদ্ধৃতি|কর্ম=GitHub|শিরোনাম=finetune-transformer-lm|ইউআরএল=https://github.com/openai/finetune-transformer-lm|সংগ্রহের-তারিখ=2 January 2024|আর্কাইভের-তারিখ=19 May 2023|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230519062127/https://github.com/openai/finetune-transformer-lm|ইউআরএল-অবস্থা=live}}</ref>
| প্রথম জিপিটি মডেল, শুধু-ডিকোডার ট্রান্সফরমার। ৮ পি৬০০ [[গ্রাফিক্স প্রসেসিং ইউনিট|জিপিওতে]] ৩০ দিনের জন্য প্রশিক্ষিত।
|-
| [[বার্ট (ভাষা মডেল)|বার্ট]] || {{dts|October 2018}} || [[গুগল]] || {{sort|340000000|০.৩৪০}}<ref name="bert-paper">{{cite arXiv |last1=Devlin |first1=Jacob |last2=Chang |first2=Ming-Wei |last3=Lee |first3=Kenton |last4=Toutanova |first4=Kristina |title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |date=11 October 2018 |eprint=1810.04805v2|class=cs.CL }}</ref> || {{sort|3300000000|৩.৩ বিলিয়ন}} শব্দ<ref name="bert-paper" />
|{{sort|9|৯}}<ref name="bHZJ2">{{ওয়েব উদ্ধৃতি |শেষাংশ=Prickett |প্রথমাংশ=Nicole Hemsoth |তারিখ=2021-08-24 |শিরোনাম=Cerebras Shifts Architecture To Meet Massive AI/ML Models |ইউআরএল=https://www.nextplatform.com/2021/08/24/cerebras-shifts-architecture-to-meet-massive-ai-ml-models/ |সংগ্রহের-তারিখ=2023-06-20 |ওয়েবসাইট=The Next Platform |আর্কাইভের-তারিখ=2023-06-20 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230620151619/https://www.nextplatform.com/2021/08/24/cerebras-shifts-architecture-to-meet-massive-ai-ml-models/ |ইউআরএল-অবস্থা=live }}</ref>|| {{yes|অ্যাপাচি ২.০}}<ref name="bert-web">{{ওয়েব উদ্ধৃতি|ইউআরএল=https://github.com/google-research/bert|শিরোনাম=BERT|তারিখ=March 13, 2023|মাধ্যম=GitHub|সংগ্রহের-তারিখ=March 13, 2023|আর্কাইভের-তারিখ=January 13, 2021|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20210113211317/https://github.com/google-research/bert|ইউআরএল-অবস্থা=live}}</ref>
| একটি প্রাথমিক এবং প্রভাবশালী ভাষার মডেল।<ref name="Manning-2022" /> [[ট্রান্সফরমার (ডিপ লার্নিং আর্কিটেকচার)#এনকোডার-অনলি|শুধু-এনকোডার]] এবং এই কারণে প্রম্পটেড বা জেনারেটিভ করার জন্য নির্মিত নয়।<ref name="Ir545">{{cite arXiv |last1=Patel |first1=Ajay |last2=Li |first2=Bryan |last3=Rasooli |first3=Mohammad Sadegh |last4=Constant |first4=Noah |last5=Raffel |first5=Colin |last6=Callison-Burch |first6=Chris |title=Bidirectional Language Models Are Also Few-shot Learners |date=2022 |class=cs.LG |eprint=2209.14500}}</ref> ৬৪টি টিপিইউভি২ চিপে প্রশিক্ষণে ৪ দিন সময় নিয়েছিল।<ref name=":02">{{cite arXiv |eprint=1810.04805v2 |class=cs.CL |first1=Jacob |last1=Devlin |first2=Ming-Wei |last2=Chang |title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |date=11 October 2018 |last3=Lee |first3=Kenton |last4=Toutanova |first4=Kristina}}</ref>
|-
|[[টি৫ (ভাষার মডেল)|টি৫]]
|{{dts|October 2019}}
|গুগল
|১১<ref name=":6">{{সাময়িকী উদ্ধৃতি |শেষাংশ১=Raffel |প্রথমাংশ১=Colin |শেষাংশ২=Shazeer |প্রথমাংশ২=Noam |শেষাংশ৩=Roberts |প্রথমাংশ৩=Adam |শেষাংশ৪=Lee |প্রথমাংশ৪=Katherine |শেষাংশ৫=Narang |প্রথমাংশ৫=Sharan |শেষাংশ৬=Matena |প্রথমাংশ৬=Michael |শেষাংশ৭=Zhou |প্রথমাংশ৭=Yanqi |শেষাংশ৮=Li |প্রথমাংশ৮=Wei |শেষাংশ৯=Liu |প্রথমাংশ৯=Peter J. |তারিখ=2020 |শিরোনাম=Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer |ইউআরএল=http://jmlr.org/papers/v21/20-074.html |সাময়িকী=Journal of Machine Learning Research |খণ্ড=21 |সংখ্যা নং=140 |পাতাসমূহ=1–67 |arxiv=1910.10683 |issn=1533-7928}}</ref>
|৩৪ বিলিয়ন টোকেন<ref name=":6" />
|
| {{yes|অ্যাপাচি ২.০}}<ref>{{Citation |title=google-research/text-to-text-transfer-transformer |date=2024-04-02 |url=https://github.com/google-research/text-to-text-transfer-transformer |access-date=2024-04-04 |publisher=Google Research |archive-date=2024-03-29 |archive-url=https://web.archive.org/web/20240329112957/https://github.com/google-research/text-to-text-transfer-transformer |url-status=live }}</ref>
|অনেক গুগল প্রকল্পের জন্য ভিত্তি মডেল, যেমন ইমেজেন।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Imagen: Text-to-Image Diffusion Models |ইউআরএল=https://imagen.research.google/ |সংগ্রহের-তারিখ=2024-04-04 |ওয়েবসাইট=imagen.research.google |আর্কাইভের-তারিখ=2024-03-27 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240327201713/https://imagen.research.google/ |ইউআরএল-অবস্থা=live }}</ref>
|-
| [[XLNet|এক্সএলনেট]] || {{dts|June 2019}} || [[গুগল]]|| {{sort|340000000|০.৩৪০}}<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Pretrained models — transformers 2.0.0 documentation |ইউআরএল=https://huggingface.co/transformers/v2.0.0/pretrained_models.html |সংগ্রহের-তারিখ=2024-08-05 |ওয়েবসাইট=huggingface.co |আর্কাইভের-তারিখ=2024-08-05 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240805032110/https://huggingface.co/transformers/v2.0.0/pretrained_models.html |ইউআরএল-অবস্থা=live }}</ref>|| ৩৩ বিলিয়ন শব্দ
| ৩৩০|| {{yes|অ্যাপাচি ২.০}}<ref name="xlnet">{{ওয়েব উদ্ধৃতি|কর্ম=GitHub|শিরোনাম=xlnet|ইউআরএল=https://github.com/zihangdai/xlnet/|সংগ্রহের-তারিখ=2 January 2024|আর্কাইভের-তারিখ=2 January 2024|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240102191842/https://github.com/zihangdai/xlnet/|ইউআরএল-অবস্থা=live}}</ref>
| বার্টের বিকল্প; শুধুমাত্র এনকোডার হিসাবে ডিজাইন করা হয়েছে। ৫১২ টিপিইউ ভি৩ চিপসে ৫.৫ দিনের জন্য প্রশিক্ষিত।<ref name="LX3rI">{{cite arXiv |last1=Yang |first1=Zhilin |last2=Dai |first2=Zihang |last3=Yang |first3=Yiming |last4=Carbonell |first4=Jaime |last5=Salakhutdinov |first5=Ruslan |last6=Le |first6=Quoc V. |title=XLNet: Generalized Autoregressive Pretraining for Language Understanding |date=2 January 2020 |class=cs.CL |eprint=1906.08237}}</ref>
|-
| [[জিপিটি-২]] || {{dts|February 2019}} || [[ওপেনএআই]] || {{sort|1500000000|১.৫}}<ref name="15Brelease" /> || ৪০জিবি<ref name="5T8u5">{{ওয়েব উদ্ধৃতি |শিরোনাম=Better language models and their implications |ইউআরএল=https://openai.com/research/better-language-models |ওয়েবসাইট=openai.com |সংগ্রহের-তারিখ=2023-03-13 |আর্কাইভের-তারিখ=2023-03-16 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230316160730/https://openai.com/research/better-language-models |ইউআরএল-অবস্থা=live }}</ref> (~{{sort|10000000000|১০ বিলিয়ন}} টোকেন)<ref name="LambdaLabs">{{ওয়েব উদ্ধৃতি |শিরোনাম=OpenAI's GPT-3 Language Model: A Technical Overview |ইউআরএল=https://lambdalabs.com/blog/demystifying-gpt-3 |ওয়েবসাইট=lambdalabs.com |তারিখ=3 June 2020 |সংগ্রহের-তারিখ=13 March 2023 |আর্কাইভের-তারিখ=27 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230327213811/https://lambdalabs.com/blog/demystifying-gpt-3 |ইউআরএল-অবস্থা=live }}</ref>
| ২৮<ref name=":10">{{ওয়েব উদ্ধৃতি |শিরোনাম=openai-community/gpt2-xl · Hugging Face |ইউআরএল=https://huggingface.co/openai-community/gpt2-xl |সংগ্রহের-তারিখ=2024-07-24 |ওয়েবসাইট=huggingface.co |আর্কাইভের-তারিখ=2024-07-24 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240724041702/https://huggingface.co/openai-community/gpt2-xl |ইউআরএল-অবস্থা=live }}</ref>|| {{yes|এমআইটি}}<ref name="Sudbe">{{ওয়েব উদ্ধৃতি|কর্ম=GitHub|শিরোনাম=gpt-2|ইউআরএল=https://github.com/openai/gpt-2|সংগ্রহের-তারিখ=13 March 2023|আর্কাইভের-তারিখ=11 March 2023|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230311154936/https://github.com/openai/gpt-2|ইউআরএল-অবস্থা=live}}</ref>
| ১ সপ্তাহের জন্য ৩২ টিপিইউভি৩ চিপে প্রশিক্ষিত।<ref name=":10" />
|-
| [[GPT-3|জিপিটি-৩]] || {{dts|May 2020}} || ওপেনএআই || {{sort|175000000000|১৭৫}}<ref name="Wiggers" /> || {{sort|300000000000|৩০০ বিলিয়ন}} টোকেন<ref name="LambdaLabs" />
|৩৬৪০<ref name=":4">{{সাময়িকী উদ্ধৃতি|শেষাংশ=Løken|প্রথমাংশ=Trond|তারিখ=2021-02-18|শিরোনাম=Bronze Age and Early Iron Age house and settlement development at Forsandmoen, south-western Norway - Tables and Figures|ইউআরএল=http://dx.doi.org/10.31265/ams-skrifter.vi28.378|সাময়িকী=AmS-Skrifter|সংখ্যা নং=28|ডিওআই=10.31265/ams-skrifter.vi28.378|issn=2535-6127}}</ref>|| {{no|মালিকানাধীন}}
| জিপিটি-৩, জিপিটি-৩.৫ নামে একটি ফাইন-টিউন করা রূপ, ২০২২ সালে [[চ্যাটজিপিটি]] নামে একটি ওয়েব ইন্টারফেসের মাধ্যমে জনসাধারণের জন্য উপলব্ধ করা হয়েছিল।<ref name="chatgpt-blog" />
|-
| জিপিটি-নিয়ো || {{dts|March 2021}} || [[EleutherAI|এলুথারএআই]] || {{sort|2700000000|২.৭}}<ref name="gpt-neo">{{ওয়েব উদ্ধৃতি|ইউআরএল=https://github.com/EleutherAI/gpt-neo|শিরোনাম=GPT Neo|তারিখ=March 15, 2023|মাধ্যম=GitHub|সংগ্রহের-তারিখ=March 12, 2023|আর্কাইভের-তারিখ=March 12, 2023|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230312225202/https://github.com/EleutherAI/gpt-neo|ইউআরএল-অবস্থা=live}}</ref> || ৮২৫ জিআইবি<ref name="Pile">{{cite arXiv |last1=Gao |first1=Leo |last2=Biderman |first2=Stella |last3=Black |first3=Sid |last4=Golding |first4=Laurence |last5=Hoppe |first5=Travis |last6=Foster |first6=Charles |last7=Phang |first7=Jason |last8=He |first8=Horace |last9=Thite |first9=Anish |last10=Nabeshima |first10=Noa |last11=Presser |first11=Shawn |last12=Leahy |first12=Connor |title=The Pile: An 800GB Dataset of Diverse Text for Language Modeling |eprint=2101.00027|date=31 December 2020 |class=cs.CL}}</ref>
| || {{yes|এমআইটি}}<ref name=vb-gpt-neo/>
| এলুথারএআই দ্বারা প্রকাশিত বিনামূল্যে জিপিটি-৩ বিকল্পগুলির একটি সিরিজের প্রথমটি৷ জিপিটি-নিয়ো কিছু বেঞ্চমার্কে একটি সমতুল্য-আকারের জিপিটি-৩ মডেলকে ছাড়িয়ে গেছে, কিন্তু সবচেয়ে বড় জিপিটি-৩ মডেলের তুলনায় উল্লেখযোগ্যভাবে খারাপ ছিল।<ref name="vb-gpt-neo" />
|-
| [[GPT-J|জিপিটি-জে]] || {{dts|June 2021}} || [[EleutherAI|এলুথারএআই]] || {{sort|6000000000|৬}}<ref name="JxohJ">{{ওয়েব উদ্ধৃতি |শিরোনাম=GPT-J-6B: An Introduction to the Largest Open Source GPT Model {{!}} Forefront |ইউআরএল=https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model |সংগ্রহের-তারিখ=2023-02-28 |ওয়েবসাইট=www.forefront.ai |আর্কাইভের-তারিখ=2023-03-09 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230309205439/https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model |ইউআরএল-অবস্থা=dead }}</ref> || ৮২৫ জিআইবি<ref name="Pile" />
|২০০<ref name=":3">{{Cite arXiv |last1=Dey |first1=Nolan |last2=Gosal |first2=Gurpreet |last3=Zhiming |last4=Chen |last5=Khachane |first5=Hemant |last6=Marshall |first6=William |last7=Pathria |first7=Ribhu |last8=Tom |first8=Marvin |last9=Hestness |first9=Joel |date=2023-04-01 |title=Cerebras-GPT: Open Compute-Optimal Language Models Trained on the Cerebras Wafer-Scale Cluster |class=cs.LG |eprint=2304.03208}}</ref>|| {{yes|অ্যাপাচি ২.০}}
| জিপিটি-৩-শৈলী ভাষা মডেল
|-
| মেগাট্রন-টুরিং এনএলজি || {{dts|October 2021}}<ref name="BwnW5">{{ওয়েব উদ্ধৃতি |শেষাংশ১=Alvi |প্রথমাংশ১=Ali |শেষাংশ২=Kharya |প্রথমাংশ২=Paresh |শিরোনাম=Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World's Largest and Most Powerful Generative Language Model |ইউআরএল=https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/ |ওয়েবসাইট=Microsoft Research |তারিখ=11 October 2021 |সংগ্রহের-তারিখ=13 March 2023 |আর্কাইভের-তারিখ=13 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230313180531/https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/ |ইউআরএল-অবস্থা=live }}</ref> || [[Microsoft|মাইক্রোসফট]] এবং [[এনভিডিয়া]] || {{sort|530000000000|৫৩০}}<ref name="mtnlg-preprint" /> || {{sort|338600000000|৩৩৮.৬ বিলিয়ন}} টোকেন<ref name="mtnlg-preprint" />
| ৩৮০০০<ref name=":11" />|| {{no|সীমাবদ্ধ ওয়েব প্রবেশাধিকার}}
| এনভিডিয়া সেলিন সুপার কম্পিউটারে ২০০০ এ১০০ এরও বেশি জিপিউতে ৩ মাসের জন্য প্রশিক্ষিত, ৩ মিলিয়নেরও বেশি জিপিউ-ঘন্টা।<ref name=":11">{{Citation |last1=Rajbhandari |first1=Samyam |title=DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale |date=2022-07-21 |arxiv=2201.05596 |last2=Li |first2=Conglong |last3=Yao |first3=Zhewei |last4=Zhang |first4=Minjia |last5=Aminabadi |first5=Reza Yazdani |last6=Awan |first6=Ammar Ahmad |last7=Rasley |first7=Jeff |last8=He |first8=Yuxiong}}</ref>
|-
| আর্নি ৩.০ তিতান || {{dts|December 2021}} || [[Baidu|বাইডু]] || {{sort|260000000000|২৬০}}<ref name="qeOB8">{{Cite arXiv|title=ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation|first1=Shuohuan|last1=Wang|first2=Yu|last2=Sun|first3=Yang|last3=Xiang|first4=Zhihua|last4=Wu|first5=Siyu|last5=Ding|first6=Weibao|last6=Gong|first7=Shikun|last7=Feng|first8=Junyuan|last8=Shang|first9=Yanbin|last9=Zhao|first10=Chao|last10=Pang|first11=Jiaxiang|last11=Liu|first12=Xuyi|last12=Chen|first13=Yuxiang|last13=Lu|first14=Weixin|last14=Liu|first15=Xi|last15=Wang|first16=Yangfan|last16=Bai|first17=Qiuliang|last17=Chen|first18=Li|last18=Zhao|first19=Shiyong|last19=Li|first20=Peng|last20=Sun|first21=Dianhai|last21=Yu|first22=Yanjun|last22=Ma|first23=Hao|last23=Tian|first24=Hua|last24=Wu|first25=Tian|last25=Wu|first26=Wei|last26=Zeng|first27=Ge|last27=Li|first28=Wen|last28=Gao|first29=Haifeng|last29=Wang|date=December 23, 2021|class=cs.CL |eprint=2112.12731}}</ref> || ৪ টিবি
| || {{no|মালিকানাধীন}}
| চীনা ভাষার এলএলএম। [[আর্নি বট]] এই মডেলের উপর ভিত্তি করে রচিত।
|-
| [[ক্লড (ভাষা মডেল|ক্লড]]<ref name="i8jc4">{{ওয়েব উদ্ধৃতি |শিরোনাম=Product |ইউআরএল=https://www.anthropic.com/product |ওয়েবসাইট=Anthropic |সংগ্রহের-তারিখ=14 March 2023 |আর্কাইভের-তারিখ=16 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230316145444/https://www.anthropic.com/product |ইউআরএল-অবস্থা=live }}</ref> || {{dts|December 2021}} || [[Anthropic|অ্যানথ্রোপিক]] || {{sort|52000000000|৫২}}<ref name="AnthroArch">{{cite arXiv |last1=Askell |first1=Amanda |last2=Bai |first2=Yuntao |last3=Chen |first3=Anna |last4=Drain |first4=Dawn |last5=Ganguli |first5=Deep |last6=Henighan |first6=Tom |last7=Jones |first7=Andy |last8=Joseph |first8=Nicholas |last9=Mann |first9=Ben |last10=DasSarma |first10=Nova |last11=Elhage |first11=Nelson |last12=Hatfield-Dodds |first12=Zac |last13=Hernandez |first13=Danny |last14=Kernion |first14=Jackson |last15=Ndousse |first15=Kamal |last16=Olsson |first16=Catherine |last17=Amodei |first17=Dario |last18=Brown |first18=Tom |last19=Clark |first19=Jack |last20=McCandlish |first20=Sam |last21=Olah |first21=Chris |last22=Kaplan |first22=Jared |display-authors=3 |title=A General Language Assistant as a Laboratory for Alignment |eprint=2112.00861 |date=9 December 2021 |class=cs.CL}}</ref> || {{sort|400000000000|৪০০ বিলিয়ন}} টোকেন<ref name="AnthroArch" />
| || {{partial success|বিটা}}
| কথোপকথনে পছন্দসই আচরণের জন্য ফাইন-টিউন করা।<ref name="RZqhw">{{cite arXiv |last1=Bai |first1=Yuntao |last2=Kadavath |first2=Saurav |last3=Kundu |first3=Sandipan |last4=Askell |first4=Amanda |last5=Kernion |first5=Jackson |last6=Jones |first6=Andy |last7=Chen |first7=Anna |last8=Goldie |first8=Anna |last9=Mirhoseini |first9=Azalia |last10=McKinnon |first10=Cameron |last11=Chen |first11=Carol |last12=Olsson |first12=Catherine |last13=Olah |first13=Christopher |last14=Hernandez |first14=Danny |last15=Drain |first15=Dawn |last16=Ganguli |first16=Deep |last17=Li |first17=Dustin |last18=Tran-Johnson |first18=Eli |last19=Perez |first19=Ethan |last20=Kerr |first20=Jamie |last21=Mueller |first21=Jared |last22=Ladish |first22=Jeffrey |last23=Landau |first23=Joshua |last24=Ndousse |first24=Kamal |last25=Lukosuite |first25=Kamile |last26=Lovitt |first26=Liane |last27=Sellitto |first27=Michael |last28=Elhage |first28=Nelson |last29=Schiefer |first29=Nicholas |last30=Mercado |first30=Noemi |last31=DasSarma |first31=Nova |last32=Lasenby |first32=Robert |last33=Larson |first33=Robin |last34=Ringer |first34=Sam |last35=Johnston |first35=Scott |last36=Kravec |first36=Shauna |last37=Showk |first37=Sheer El |last38=Fort |first38=Stanislav |last39=Lanham |first39=Tamera |last40=Telleen-Lawton |first40=Timothy |last41=Conerly |first41=Tom |last42=Henighan |first42=Tom |last43=Hume |first43=Tristan |last44=Bowman |first44=Samuel R. |last45=Hatfield-Dodds |first45=Zac |last46=Mann |first46=Ben |last47=Amodei |first47=Dario |last48=Joseph |first48=Nicholas |last49=McCandlish |first49=Sam |last50=Brown |first50=Tom |last51=Kaplan |first51=Jared |display-authors=3 |title=Constitutional AI: Harmlessness from AI Feedback |eprint=2212.08073 |date=15 December 2022 |class=cs.CL}}</ref>
|-
| গ্লাম (জেনেরালিস্ট ভাষা মডেল) || {{dts|December 2021}} || গুগল || {{sort|1200000000000|১২০০}}<ref name="glam-blog" /> || {{sort|1600000000000|১.৬ ট্রিলিয়ন}} টোকেন<ref name="glam-blog" />
| ৫৬০০<ref name="glam-blog" />|| {{no|মালিকানাধীন}}
| বিশেষজ্ঞদের মডেলের স্পার্স মিশ্রণ, এটিকে প্রশিক্ষণ দেওয়া আরও ব্যয়বহুল কিন্তু জিপিটি-৩ এর তুলনায় অনুমান পরিচালনা সস্তা।
|-
| গোফার || {{dts|December 2021}} || [[DeepMind|ডিপমাইন্ড]] || {{sort|280000000000|২৮০}}<ref name="mD5eE">{{ওয়েব উদ্ধৃতি |শিরোনাম=Language modelling at scale: Gopher, ethical considerations, and retrieval |ইউআরএল=https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval |ওয়েবসাইট=www.deepmind.com |তারিখ=8 December 2021 |সংগ্রহের-তারিখ=20 March 2023 |আর্কাইভের-তারিখ=20 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230320082323/https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval |ইউআরএল-অবস্থা=live }}</ref> || {{sort|300000000000|৩০০ বিলিয়ন}} টোকেন<ref name="hoffman" />
|৫৮৩৩<ref name=":4"/>|| {{no|মালিকানাধীন}}
| পরে চিনচিলা মডেলে বিকশিত হয়।
|-
| [[ল্যামডা]] (ডায়ালগ অ্যাপ্লিকেশনের জন্য ভাষার মডেল) || {{dts|January 2022}} || গুগল || {{sort|137000000000|১৩৭}}<ref name="lamda-blog" /> || ১.৫৬টিবি শব্দ,<ref name="lamda-blog" /> {{sort|168000000000|১৬৮ বিলিয়ন}} টোকেন<ref name="hoffman" />
|৪১১০<ref name="DMs9Z">{{Cite arXiv |last1=Thoppilan |first1=Romal |last2=De Freitas |first2=Daniel |last3=Hall |first3=Jamie |last4=Shazeer |first4=Noam |last5=Kulshreshtha |first5=Apoorv |last6=Cheng |first6=Heng-Tze |last7=Jin |first7=Alicia |last8=Bos |first8=Taylor |last9=Baker |first9=Leslie |last10=Du |first10=Yu |last11=Li |first11=YaGuang |last12=Lee |first12=Hongrae |last13=Zheng |first13=Huaixiu Steven |last14=Ghafouri |first14=Amin |last15=Menegali |first15=Marcelo |date=2022-01-01 |title=LaMDA: Language Models for Dialog Applications |class=cs.CL |eprint=2201.08239}}</ref>|| {{no|মালিকানাধীন}}
| কথোপকথনে প্রতিক্রিয়া তৈরির জন্য বিশেষ।
|-
| জিপিটি-নিয়োেএক্স || {{dts|February 2022}} || [[EleutherAI|এলুথারএআই]] || {{sort|20000000000|২০}}<ref name="gpt-neox-20b">{{cite conference |title=GPT-NeoX-20B: An Open-Source Autoregressive Language Model |conference=Proceedings of BigScience Episode #5 – Workshop on Challenges & Perspectives in Creating Large Language Models |date=2022-05-01 |last1=Black |first1=Sidney |last2=Biderman |first2=Stella |last3=Hallahan |first3=Eric |display-authors=etal |volume=Proceedings of BigScience Episode #5 – Workshop on Challenges & Perspectives in Creating Large Language Models |pages=95–136 |url=https://aclanthology.org/2022.bigscience-1.9/ |access-date=2022-12-19 |archive-date=2022-12-10 |archive-url=https://web.archive.org/web/20221210082456/https://aclanthology.org/2022.bigscience-1.9/ |url-status=live }}</ref> || ৮২৫ জিআইবি<ref name="Pile" />
|৭৪০<ref name=":3" />|| {{yes|অ্যাপাচি ২.০}}
| মেগাট্রন স্থাপত্যের উপর ভিত্তি করে
|-
| চিনচিলা || {{dts|March 2022}} || [[DeepMind|ডিপমাইন্ড]] || {{sort|70000000000|৭০}}<ref name="chinchilla-blog" /> || {{sort|1400000000000|১.৪ ট্রিলিয়ন}} টোকেন<ref name="hoffman">{{cite arXiv |last1=Hoffmann |first1=Jordan |last2=Borgeaud |first2=Sebastian |last3=Mensch |first3=Arthur |last4=Buchatskaya |first4=Elena |last5=Cai |first5=Trevor |last6=Rutherford |first6=Eliza |last7=Casas |first7=Diego de Las |last8=Hendricks |first8=Lisa Anne |last9=Welbl |first9=Johannes |last10=Clark |first10=Aidan |last11=Hennigan |first11=Tom |last12=Noland |first12=Eric |last13=Millican |first13=Katie |last14=Driessche |first14=George van den |last15=Damoc |first15=Bogdan |last16=Guy |first16=Aurelia |last17=Osindero |first17=Simon |last18=Simonyan |first18=Karen |last19=Elsen |first19=Erich |last20=Rae |first20=Jack W. |last21=Vinyals |first21=Oriol |last22=Sifre |first22=Laurent |title=Training Compute-Optimal Large Language Models |eprint=2203.15556 |date=29 March 2022 |class=cs.CL |display-authors=3}}</ref><ref name="chinchilla-blog" />
|৬৮০৫<ref name=":4" />|| {{no|মালিকানাধীন}}
| কম-প্যারামিটার মডেল আরও ডেটাতে প্রশিক্ষিত। স্প্যারো বটে ব্যবহার করা হয়। প্রায়শই এর নিউরাল স্কেলিং আইনের জন্য উদ্ধৃত করা হয়।
|-
| পালম (পাথওয়েস ভাষা মডেল) || {{dts|April 2022}} || গুগল || {{sort|540000000000|৫৪০}}<ref name="palm-blog" /> || {{sort|768000000000|৭৬৮ বিলিয়ন}} টোকেন<ref name="chinchilla-blog" />
|{{sort|29250|২৯,২৫০}}<ref name=":4" />|| {{no|মালিকানাধীন}}
| ~৬০০০ টিপিউ ভি৪ চিপে ~৬০ দিনের জন্য প্রশিক্ষিত।<ref name=":4" /> {{As of|2024|October}}, এটি প্রকাশিত বৃহত্তম ঘন ট্রান্সফরমার।
|-
| ওপিটি (ওপেন পূর্ব-প্রশিক্ষিত ট্রান্সফরমার) || {{dts|May 2022}} || [[Meta Platforms|মেটা]] || {{sort|175000000000|১৭৫}}<ref name="jlof8">{{ওয়েব উদ্ধৃতি |শিরোনাম=Democratizing access to large-scale language models with OPT-175B |লেখক১=Susan Zhang |লেখক২=Mona Diab |লেখক৩=Luke Zettlemoyer |ইউআরএল=https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/ |ওয়েবসাইট=ai.facebook.com |সংগ্রহের-তারিখ=2023-03-12 |আর্কাইভের-তারিখ=2023-03-12 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230312231820/https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/ |ইউআরএল-অবস্থা=live }}</ref> || {{sort|180000000000|১৮০ বিলিয়ন}} টোকেন<ref name="QjTIc">{{cite arXiv |last1=Zhang |first1=Susan |last2=Roller |first2=Stephen |last3=Goyal |first3=Naman |last4=Artetxe |first4=Mikel |last5=Chen |first5=Moya |last6=Chen |first6=Shuohui |last7=Dewan |first7=Christopher |last8=Diab |first8=Mona |last9=Li |first9=Xian |last10=Lin |first10=Xi Victoria |last11=Mihaylov |first11=Todor |last12=Ott |first12=Myle |last13=Shleifer |first13=Sam |last14=Shuster |first14=Kurt |last15=Simig |first15=Daniel |last16=Koura |first16=Punit Singh |last17=Sridhar |first17=Anjali |last18=Wang |first18=Tianlu |last19=Zettlemoyer |first19=Luke |title=OPT: Open Pre-trained Transformer Language Models |eprint=2205.01068 |date=21 June 2022|class=cs.CL}}</ref>
|৩১০<ref name=":3" />|| {{partial success|অ-বাণিজ্যিক গবেষণা}}{{efn|৬৬বিসহ ছোট মডেলগুলি সর্বজনীনভাবে উপলব্ধ, আর ১৭৫বি মডেল অনুরোধে উপলব্ধ।}}
| জিপিটি-৩ মেগাট্রন থেকে কিছু অভিযোজনসহ স্থাপত্য। অনন্যভাবে, দল দ্বারা লেখা প্রশিক্ষণ লগবুক প্রকাশিত হয়েছিল।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=metaseq/projects/OPT/chronicles at main · facebookresearch/metaseq |ইউআরএল=https://github.com/facebookresearch/metaseq/tree/main/projects/OPT/chronicles |সংগ্রহের-তারিখ=2024-10-18 |ওয়েবসাইট=GitHub |ভাষা=en}}</ref>
|-
|ইয়ালম ১০০বি || {{dts|June 2022}} || [[ইয়ানডেক্স]]|| {{sort|100000000000|১০০}}<ref name="yalm-repo">{{Citation |last1=Khrushchev |first1=Mikhail |title=YaLM 100B |date=2022-06-22 |url=https://github.com/yandex/YaLM-100B |access-date=2023-03-18 |last2=Vasilev |first2=Ruslan |last3=Petrov |first3=Alexey |last4=Zinov |first4=Nikolay |archive-date=2023-06-16 |archive-url=https://web.archive.org/web/20230616050056/https://github.com/yandex/YaLM-100B |url-status=live }}</ref>
|| ১.৭টিবি<ref name="yalm-repo" /> || | || {{yes|অ্যাপাচি ২.০}} || মাইক্রোসফটের মেগাট্রন-এলএম-এর উপর ভিত্তি করে ইংরেজি-রাশিয়ান মডেল।
|-
| মিনের্ভা || {{dts|June 2022}} || গুগল || {{sort|540000000000|৫৪০}}<ref name="minerva-paper" /> || গাণিতিক বিষয়বস্তুর জন্য ফিল্টার করা ওয়েবপেজ থেকে ৩৮.৫বি টোকেন এবং আর্ক্সিভ প্রিপ্রিন্ট সার্ভারে জমা দেওয়া কাগজপত্র থেকে<ref name="minerva-paper">{{cite arXiv |last1=Lewkowycz |first1=Aitor |last2=Andreassen |first2=Anders |last3=Dohan |first3=David |last4=Dyer |first4=Ethan |last5=Michalewski |first5=Henryk |last6=Ramasesh |first6=Vinay |last7=Slone |first7=Ambrose |last8=Anil |first8=Cem |last9=Schlag |first9=Imanol |last10=Gutman-Solo |first10=Theo |last11=Wu |first11=Yuhuai |last12=Neyshabur |first12=Behnam |last13=Gur-Ari |first13=Guy |last14=Misra |first14=Vedant |title=Solving Quantitative Reasoning Problems with Language Models |date=30 June 2022 |class=cs.CL |eprint=2206.14858}}</ref>
| || {{no|মালিকানাধীন}}
| ধাপে ধাপে যুক্তি ব্যবহার করে "গাণিতিক এবং বৈজ্ঞানিক প্রশ্ন" সমাধানের জন্য।<ref name="FfCNK">{{ওয়েব উদ্ধৃতি |শিরোনাম=Minerva: Solving Quantitative Reasoning Problems with Language Models |ইউআরএল=https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html |ওয়েবসাইট=ai.googleblog.com |তারিখ=30 June 2022 |সংগ্রহের-তারিখ=20 March 2023 }}</ref> পালম মডেল থেকে সূচনা করা হয়েছে, তারপর গাণিতিক এবং বৈজ্ঞানিক ডেটার উপর ফাইন-টিউন করা হয়েছে।
|-
| ব্লুম || {{dts|July 2022}} || হাগিং ফেসের নেতৃত্বে বড় সহযোগী কার্যক্রম || {{sort|175000000000|১৭৫}}<ref name="bigger-better">{{সাময়িকী উদ্ধৃতি |সাময়িকী=Nature |শেষাংশ=Ananthaswamy |প্রথমাংশ=Anil |শিরোনাম=In AI, is bigger always better? |তারিখ=8 March 2023 |খণ্ড=615 |সংখ্যা নং=7951 |পাতাসমূহ=202–205 |ডিওআই=10.1038/d41586-023-00641-w |pmid=36890378 |বিবকোড=2023Natur.615..202A |s2cid=257380916 |ইউআরএল=https://www.nature.com/articles/d41586-023-00641-w |সংগ্রহের-তারিখ=9 March 2023 |আর্কাইভের-তারিখ=16 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230316181013/https://www.nature.com/articles/d41586-023-00641-w |ইউআরএল-অবস্থা=live }}</ref> || {{sort|350000000000|৩৫০ বিলিয়ন}} টোকেন (১.৬টিবি)<ref name="B8wB2">{{ওয়েব উদ্ধৃতি |শিরোনাম=bigscience/bloom · Hugging Face |ইউআরএল=https://huggingface.co/bigscience/bloom |ওয়েবসাইট=huggingface.co |সংগ্রহের-তারিখ=2023-03-13 |আর্কাইভের-তারিখ=2023-04-12 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230412002547/https://huggingface.co/bigscience/bloom |ইউআরএল-অবস্থা=live }}</ref>
| || {{partial success|রেসপন্সিবল এআই}}
| মূলত জিপিটি-৩ কিন্তু একটি বহুভাষিক কর্পাসের উপর প্রশিক্ষিত (৩০% ইংরেজি প্রোগ্রামিং ভাষা বাদে)
|-
| গ্যালাকটিকা || {{dts|November 2022}} || [[Meta Platforms|মেটা]] || {{sort|120000000000|১২০}}|| {{sort|350000000000|১০৬ বিলিয়ন}} টোকেন<ref name="37sY6">{{cite arXiv |last1=Taylor |first1=Ross |last2=Kardas |first2=Marcin |last3=Cucurull |first3=Guillem |last4=Scialom |first4=Thomas |last5=Hartshorn |first5=Anthony |last6=Saravia |first6=Elvis |last7=Poulton |first7=Andrew |last8=Kerkez |first8=Viktor |last9=Stojnic |first9=Robert |title=Galactica: A Large Language Model for Science |date=16 November 2022 |class=cs.CL |eprint=2211.09085}}</ref>
|অজ্ঞাত|| {{partial success|সিসি-বাই-এনসি-৪.০}}
| বৈজ্ঞানিক পাঠ্য এবং পদ্ধতির উপর প্রশিক্ষিত।
|-
| অ্যালেক্সাটিএম (শিক্ষক মডেল) || {{dts|November 2022}} || [[Amazon (company)|অ্যামাজন]] || {{sort|20000000000|২০}}<ref name="u5szh">{{ওয়েব উদ্ধৃতি |শিরোনাম=20B-parameter Alexa model sets new marks in few-shot learning |ইউআরএল=https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning |ওয়েবসাইট=Amazon Science |তারিখ=2 August 2022 |সংগ্রহের-তারিখ=12 March 2023 |আর্কাইভের-তারিখ=15 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230315190223/https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning |ইউআরএল-অবস্থা=live }}</ref> || {{sort|1300000000000|১.৩ ট্রিলিয়ন}}<ref name="HaA7l">{{cite arXiv |last1=Soltan |first1=Saleh |last2=Ananthakrishnan |first2=Shankar |last3=FitzGerald |first3=Jack |last4=Gupta |first4=Rahul |last5=Hamza |first5=Wael |last6=Khan |first6=Haidar |last7=Peris |first7=Charith |last8=Rawls |first8=Stephen |last9=Rosenbaum |first9=Andy |last10=Rumshisky |first10=Anna |last11=Prakash |first11=Chandana Satya |last12=Sridhar |first12=Mukund |last13=Triefenbach |first13=Fabian |last14=Verma |first14=Apurv |last15=Tur |first15=Gokhan |last16=Natarajan |first16=Prem |display-authors=3|title=AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model |eprint=2208.01448 |date=3 August 2022|class=cs.CL}}</ref>
| || {{no|মালিকানাধীন}}<ref name="rpehM">{{ওয়েব উদ্ধৃতি |শিরোনাম=AlexaTM 20B is now available in Amazon SageMaker JumpStart {{!}} AWS Machine Learning Blog |ইউআরএল=https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/ |ওয়েবসাইট=aws.amazon.com |সংগ্রহের-তারিখ=13 March 2023 |তারিখ=17 November 2022 |আর্কাইভের-তারিখ=13 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230313163933/https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/ |ইউআরএল-অবস্থা=live }}</ref>
| দ্বিমুখী ক্রম থেকে ক্রম স্থাপত্য
|-
| নিওরো-সামা || {{dts|December 2022}} || স্বাধীন || অজ্ঞাত || অজ্ঞাত
| || {{no|ব্যক্তিগত মালিকানাধীন}}
| [[টুইচ (সেবা)|টুইচে]] লাইভ-স্ট্রিমিংয়ের জন্য ডিজাইন করা একটি ভাষা মডেল।
|-
| লামা (লার্জ ল্যাঙ্গুয়েজ মডেল মেটা এআই) || {{dts|February 2023}} || [[Meta AI|মেটা এআই]]|| {{sort|65000000000|৬৫}}<ref name="llama-blog" /> || {{sort|1400000000000|১.৪ ট্রিলিয়ন}}<ref name="llama-blog" />
|৬৩০০<ref name=":5">{{ওয়েব উদ্ধৃতি |শিরোনাম=The Falcon has landed in the Hugging Face ecosystem |ইউআরএল=https://huggingface.co/blog/falcon |সংগ্রহের-তারিখ=2023-06-20 |ওয়েবসাইট=huggingface.co |আর্কাইভের-তারিখ=2023-06-20 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230620002832/https://huggingface.co/blog/falcon |ইউআরএল-অবস্থা=live }}</ref>|| {{partial success|অ-বাণিজ্যিক গবেষণা}}{{efn|ফেসবুকের লাইসেন্স এবং ডিস্ট্রিবিউশন স্কিম অনুমোদিত গবেষকদের প্রবেশাধিকারে সীমাবদ্ধ করে, কিন্তু মডেলের ওজন ফাঁস হয়ে যায় এবং ব্যাপকভাবে উপলব্ধ হয়ে যায়।}}
| কর্পাসের ২০ ভাষা আছে। কম প্যারামিটারসহ ভাল পারফরম্যান্সের জন্য "অতিরিক্ত" (চিনচিলা স্কেলিং আইনের তুলনায়)।<ref name="llama-blog" />
|-
| [[GPT-4|জিপিটি-৪]] || {{dts|March 2023}} || ওপেনএআই || অজ্ঞাত{{efn|প্রযুক্তিগত প্রতিবেদনে উল্লেখ করা হয়েছে: "প্রতিযোগিতামূলক পরিবেশ এবং জিপিটি-৪ এর মতো বৃহৎ স্কেলের মডেলের নিরাপত্তাজনিত বিষয়গুলো বিবেচনা করে, এই প্রতিবেদনে স্থাপত্য (মডেলের আকারসহ), হার্ডওয়্যার, প্রশিক্ষণ কম্পিউট, ডেটাসেট নির্মাণ, প্রশিক্ষণ পদ্ধতি ইত্যাদি সম্পর্কে কোনো অতিরিক্ত তথ্য অন্তর্ভুক্ত করা হয়নি ..."<ref name="GPT4Tech">{{ওয়েব উদ্ধৃতি |তারিখ=2023 |শিরোনাম=GPT-4 Technical Report |ইউআরএল=https://cdn.openai.com/papers/gpt-4.pdf |ওয়েবসাইট=[[OpenAI]] |সংগ্রহের-তারিখ=March 14, 2023 |আর্কাইভের-তারিখ=March 14, 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230314190904/https://cdn.openai.com/papers/gpt-4.pdf |ইউআরএল-অবস্থা=live}}</ref> }} (গুজব অনুযায়ী: ১৭৬০)<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=Schreiner |প্রথমাংশ=Maximilian |তারিখ=2023-07-11 |শিরোনাম=GPT-4 architecture, datasets, costs and more leaked |ইউআরএল=https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/ |সংগ্রহের-তারিখ=2024-07-26 |ওয়েবসাইট=THE DECODER |ভাষা=en-US |আর্কাইভের-তারিখ=2023-07-12 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230712123915/https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/ |ইউআরএল-অবস্থা=live }}</ref>
| অজ্ঞাত
|| অজ্ঞাত || {{no|মালিকানাধীন}}
| চ্যাটজিপিটি প্লাস ব্যবহারকারীদের জন্য উপলব্ধ এবং বেশ কয়েকটি পণ্যে ব্যবহৃত।
|-
| ক্যামিলিওন || {{dts|June 2024}} || [[Meta AI|মেটা এআই]]|| {{sort|34000000000|৩৪}}<ref>{{সংবাদ উদ্ধৃতি |শেষাংশ১=Dickson |প্রথমাংশ১=Ben |শিরোনাম=Meta introduces Chameleon, a state-of-the-art multimodal model |ইউআরএল=https://venturebeat.com/ai/meta-introduces-chameleon-a-state-of-the-art-multimodal-model/ |কর্ম=VentureBeat |তারিখ=22 May 2024}}</ref> || {{sort|4400000000000|৪.৪ ট্রিলিয়ন}}|| ||
|-
|সেরিব্রাস-জিপিটি
|{{dts|March 2023}}
|সেরেব্রাস
|{{sort|13000000000|১৩}}<ref name="D0k2a">{{ওয়েব উদ্ধৃতি|ইউআরএল=https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/|শিরোনাম=Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models|প্রথমাংশ=Nolan|শেষাংশ=Dey|তারিখ=March 28, 2023|ওয়েবসাইট=Cerebras|সংগ্রহের-তারিখ=March 28, 2023|আর্কাইভের-তারিখ=March 28, 2023|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230328213339/https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/|ইউআরএল-অবস্থা=live}}</ref>
|
|২৭০<ref name=":3" />|| {{yes|অ্যাপাচি ২.০}}
| চিনচিলা সূত্র দিয়ে প্রশিক্ষিত।
|-
| ফ্যালকন || {{dts|March 2023}} ||টেকনোলজি ইনোভেশন ইনস্টিটিউট
| {{sort|40000000000|৪০}}<ref name="falcon">{{ওয়েব উদ্ধৃতি |শিরোনাম=Abu Dhabi-based TII launches its own version of ChatGPT |ইউআরএল=https://fastcompanyme.com/news/abu-dhabi-based-tii-launches-its-own-version-of-chatgpt/ |ওয়েবসাইট=tii.ae |সংগ্রহের-তারিখ=2023-04-03 |আর্কাইভের-তারিখ=2023-04-03 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230403021729/https://fastcompanyme.com/news/abu-dhabi-based-tii-launches-its-own-version-of-chatgpt/ |ইউআরএল-অবস্থা=live }}</ref> || ১ ট্রিলিয়ন টোকেন, রিফাইন্ডওয়েব থেকে (ফিল্টার করা ওয়েব টেক্সট কর্পাস)<ref name="Xb1gq">{{Cite arXiv |last1=Penedo |first1=Guilherme |last2=Malartic |first2=Quentin |last3=Hesslow |first3=Daniel |last4=Cojocaru |first4=Ruxandra |last5=Cappelli |first5=Alessandro |last6=Alobeidli |first6=Hamza |last7=Pannier |first7=Baptiste |last8=Almazrouei |first8=Ebtesam |last9=Launay |first9=Julien |date=2023-06-01 |title=The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only |class=cs.CL |eprint=2306.01116}}</ref> সাথেসাথে কিছু "কিউরেটেড কর্পোরা"।<ref name="gzTNw">{{ওয়েব উদ্ধৃতি |তারিখ=2023-06-09 |শিরোনাম=tiiuae/falcon-40b · Hugging Face |ইউআরএল=https://huggingface.co/tiiuae/falcon-40b |সংগ্রহের-তারিখ=2023-06-20 |ওয়েবসাইট=huggingface.co}}</ref>
|২৮০০<ref name=":5" />|| {{yes|অ্যাপাচি ২.০}}<ref name="Wmlcs">[https://www.businesswire.com/news/home/20230531005608/en/UAE's-Falcon-40B-World's-Top-Ranked-AI-Model-from-Technology-Innovation-Institute-is-Now-Royalty-Free UAE's Falcon 40B, World's Top-Ranked AI Model from Technology Innovation Institute, is Now Royalty-Free] {{ওয়েব আর্কাইভ|ইউআরএল=https://web.archive.org/web/20240208133040/https://www.businesswire.com/news/home/20230531005608/en/UAE%27s-Falcon-40B-World%27s-Top-Ranked-AI-Model-from-Technology-Innovation-Institute-is-Now-Royalty-Free |তারিখ=2024-02-08 }}, 31 May 2023</ref>
|
|-
| ব্লুমবার্গজিপিটি || {{dts|March 2023}} || [[Bloomberg L.P.|ব্লুমবার্গ এলপি]] || {{sort|50000000000|৫০}}|| ৩৬৩ বিলিয়ন টোকেনের একটি ডেটাসেট, যা ব্লুমবার্গের ডেটা উৎসের উপর ভিত্তি করে তৈরি, এছাড়াও সাধারণ উদ্দেশ্যের ডেটাসেট থেকে ৩৪৫ বিলিয়ন টোকেন।<ref name="nGOSu">{{Cite arXiv|title=BloombergGPT: A Large Language Model for Finance|first1=Shijie|last1=Wu|first2=Ozan|last2=Irsoy|first3=Steven|last3=Lu|first4=Vadim|last4=Dabravolski|first5=Mark|last5=Dredze|first6=Sebastian|last6=Gehrmann|first7=Prabhanjan|last7=Kambadur|first8=David|last8=Rosenberg|first9=Gideon|last9=Mann|date=March 30, 2023|class=cs.LG |eprint=2303.17564}}</ref>
| || {{no|মালিকানাধীন}}
| আর্থিক কাজের জন্য মালিকানাধীন উৎস থেকে আর্থিক তথ্যের উপর প্রশিক্ষিত।
|-
| প্যানগু-Σ || {{dts|March 2023}} || [[হুয়াওয়েই]]|| {{sort|1085000000000|১০৮৫}}|| ৩২৯ বিলিয়ন টোকেন<ref name="9WSFw">{{Cite arXiv|title=PanGu-Σ: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing|first1=Xiaozhe|last1=Ren|first2=Pingyi|last2=Zhou|first3=Xinfan|last3=Meng|first4=Xinjing|last4=Huang|first5=Yadao|last5=Wang|first6=Weichao|last6=Wang|first7=Pengfei|last7=Li|first8=Xiaoda|last8=Zhang|first9=Alexander|last9=Podolskiy|first10=Grigory|last10=Arshinov|first11=Andrey|last11=Bout|first12=Irina|last12=Piontkovskaya|first13=Jiansheng|last13=Wei|first14=Xin|last14=Jiang|first15=Teng|last15=Su|first16=Qun|last16=Liu|first17=Jun|last17=Yao|date=March 19, 2023|class=cs.CL |eprint=2303.10845}}</ref>
| || {{no|মালিকানাধীন}}
|
|-
| ওপেনঅ্যাসিস্টেন্ট<ref name="JiOl8">{{Cite arXiv |last1=Köpf |first1=Andreas |last2=Kilcher |first2=Yannic |last3=von Rütte |first3=Dimitri |last4=Anagnostidis |first4=Sotiris |last5=Tam |first5=Zhi-Rui |last6=Stevens |first6=Keith |last7=Barhoum |first7=Abdullah |last8=Duc |first8=Nguyen Minh |last9=Stanley |first9=Oliver |last10=Nagyfi |first10=Richárd |last11=ES |first11=Shahul |last12=Suri |first12=Sameer |last13=Glushkov |first13=David |last14=Dantuluri |first14=Arnav |last15=Maguire |first15=Andrew |date=2023-04-14 |title=OpenAssistant Conversations – Democratizing Large Language Model Alignment |class=cs.CL |eprint=2304.07327}}</ref> || {{dts|March 2023}} || লাইওন || {{sort|17000000000|১৭}}|| ১.৫ ট্রিলিয়ন টোকেন
| || {{yes|অ্যাপাচি ২.০}}
| ক্রাউডসোর্সড ওপেন ডেটার উপর প্রশিক্ষিত
|-
|জুরাসিক-২<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=Wrobel |প্রথমাংশ=Sharon |শিরোনাম=Tel Aviv startup rolls out new advanced AI language model to rival OpenAI |ইউআরএল=https://www.timesofisrael.com/ai21-labs-rolls-out-new-advanced-ai-language-model-to-rival-openai/ |সংগ্রহের-তারিখ=2023-07-24 |ওয়েবসাইট=www.timesofisrael.com |আর্কাইভের-তারিখ=2023-07-24 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230724191823/https://www.timesofisrael.com/ai21-labs-rolls-out-new-advanced-ai-language-model-to-rival-openai/ |ইউআরএল-অবস্থা=live }}</ref>
|{{dts|March 2023}}
|এআই২১ ল্যাবস
|অজ্ঞাত
|অজ্ঞাত
| || {{no|মালিকানাধীন}}
|বহুভাষিক<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=Wiggers |প্রথমাংশ=Kyle |তারিখ=2023-04-13 |শিরোনাম=With Bedrock, Amazon enters the generative AI race |ইউআরএল=https://techcrunch.com/2023/04/13/with-bedrock-amazon-enters-the-generative-ai-race/ |সংগ্রহের-তারিখ=2023-07-24 |ওয়েবসাইট=TechCrunch |আর্কাইভের-তারিখ=2023-07-24 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230724102458/https://techcrunch.com/2023/04/13/with-bedrock-amazon-enters-the-generative-ai-race/ |ইউআরএল-অবস্থা=live }}</ref>
|-
| পালম ২ (পাথওয়েস ভাষা মডেল ২) || {{dts|May 2023}} || গুগল || {{sort|340000000000|৩৪০}}<ref name="cnbc-20230516">{{ওয়েব উদ্ধৃতি |শেষাংশ=Elias |প্রথমাংশ=Jennifer |ইউআরএল=https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html |শিরোনাম=Google's newest A.I. model uses nearly five times more text data for training than its predecessor |কর্ম=[[CNBC]] |তারিখ=16 May 2023 |সংগ্রহের-তারিখ=18 May 2023 |আর্কাইভের-তারিখ=16 May 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230516225326/https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html |ইউআরএল-অবস্থা=live }}</ref> || {{sort|3600000000000|৩.৬ ট্রিলিয়ন}} টোকেন<ref name="cnbc-20230516" />
|{{sort|85000|৮৫,০০০}}<ref name=":5" />|| {{no|মালিকানাধীন}}
| [[বার্ড (চ্যাটবট)|বার্ড চ্যাটবটে]] ব্যবহৃত হয়েছিল<ref name="pWyLA">{{ওয়েব উদ্ধৃতি|ইউআরএল=https://blog.google/technology/ai/google-palm-2-ai-large-language-model/|শিরোনাম=Introducing PaLM 2|তারিখ=May 10, 2023|ওয়েবসাইট=Google|সংগ্রহের-তারিখ=May 18, 2023|আর্কাইভের-তারিখ=May 18, 2023|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230518213209/https://blog.google/technology/ai/google-palm-2-ai-large-language-model/|ইউআরএল-অবস্থা=live}}</ref>
|-
| লামা ২ || {{dts|July 2023}} || মেটা এআই || {{sort|70000000000|৭০}}<ref name="meta-20230719">{{ওয়েব উদ্ধৃতি | ইউআরএল = https://ai.meta.com/llama/ | শিরোনাম = Introducing Llama 2: The Next Generation of Our Open Source Large Language Model | সংগ্রহের-তারিখ = 2023-07-19 | ওয়েবসাইট = Meta AI | তারিখ = 2023 | আর্কাইভের-তারিখ = 2024-01-05 | আর্কাইভের-ইউআরএল = https://web.archive.org/web/20240105234629/https://ai.meta.com/llama/ | ইউআরএল-অবস্থা = live }}</ref> || {{sort|2000000000000|২ ট্রিলিয়ন}} টোকেন<ref name="meta-20230719" />
| {{sort|21000|২১,০০০}}|| {{partial success|লামা ২ লাইসেন্স}}
| ১.৭ মিলিয়ন প্রতি এ১০০-ঘন্টা।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=llama/MODEL_CARD.md at main · meta-llama/llama |ইউআরএল=https://github.com/meta-llama/llama/blob/main/MODEL_CARD.md |সংগ্রহের-তারিখ=2024-05-28 |ওয়েবসাইট=GitHub |আর্কাইভের-তারিখ=2024-05-28 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240528090541/https://github.com/meta-llama/llama/blob/main/MODEL_CARD.md |ইউআরএল-অবস্থা=live }}</ref>
|-
|[[ক্লড (ভাষা মডেল|ক্লড ২]]
|{{dts|July 2023}}
|অ্যানথ্রোপিক
|| অজ্ঞাত
|অজ্ঞাত
|অজ্ঞাত|| {{no|মালিকানাধীন}}
| ক্লড চ্যাটবটে ব্যবহৃত হয়েছিল<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Claude 2 |ইউআরএল=https://www.anthropic.com/index/claude-2 |ওয়েবসাইট=anthropic.com |সংগ্রহের-তারিখ=12 December 2023 |আর্কাইভের-তারিখ=15 December 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231215212208/https://www.anthropic.com/index/claude-2 |ইউআরএল-অবস্থা=live }}</ref>
|-
|গ্রানাইট ১৩বি
|{{dts|July 2023}}
|[[IBM|আইবিএম]]
|| অজ্ঞাত
|অজ্ঞাত
|অজ্ঞাত|| {{no|মালিকানাধীন}}
| আইবিএম ওয়াটসনক্সে ব্যবহৃত হয়েছিল।<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=Nirmal |প্রথমাংশ=Dinesh |তারিখ=2023-09-07 |শিরোনাম=Building AI for business: IBM's Granite foundation models |ইউআরএল=https://www.ibm.com/blog/building-ai-for-business-ibms-granite-foundation-models |সংগ্রহের-তারিখ=2024-08-11 |ওয়েবসাইট=IBM Blog |ভাষা=en-US |আর্কাইভের-তারিখ=2024-07-22 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240722083855/https://www.ibm.com/blog/building-ai-for-business-ibms-granite-foundation-models/ |ইউআরএল-অবস্থা=live }}</ref>
|-
| মিস্ট্রাল ৭বি || {{dts|September 2023}} || [[Mistral AI|মিস্ট্রাল এআই]] || {{sort|7300000000|৭.৩}}<ref name="mistral-20230927">{{ওয়েব উদ্ধৃতি | ইউআরএল = https://mistral.ai/news/announcing-mistral-7b/ | শিরোনাম = Announcing Mistral 7B | সংগ্রহের-তারিখ = 2023-10-06 | ওয়েবসাইট = Mistral | তারিখ = 2023 | আর্কাইভের-তারিখ = 2024-01-06 | আর্কাইভের-ইউআরএল = https://web.archive.org/web/20240106051047/https://mistral.ai/news/announcing-mistral-7b/ | ইউআরএল-অবস্থা = live }}</ref> || অজ্ঞাত
| || {{yes|অ্যাপাচি ২.০}}
|
|-
|[[ক্লড (ভাষা মডেল|ক্লড ২.১]]
|{{dts|November 2023}}
|অ্যানথ্রোপিক
|| অজ্ঞাত
|অজ্ঞাত
|অজ্ঞাত|| {{no|মালিকানাধীন}}
| ক্লড চ্যাটবটে ব্যবহার করা হয়। ২০০,০০০ টোকেন বা ~৫০০ পৃষ্ঠার একটি প্রসঙ্গ উইন্ডো আছে।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Introducing Claude 2.1 |ইউআরএল=https://www.anthropic.com/index/claude-2-1 |ওয়েবসাইট=anthropic.com |সংগ্রহের-তারিখ=12 December 2023 |আর্কাইভের-তারিখ=15 December 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231215201726/https://www.anthropic.com/index/claude-2-1 |ইউআরএল-অবস্থা=live }}</ref>
|-
|গ্রোক-১<ref>{{Citation |title=xai-org/grok-1 |date=2024-03-19 |url=https://github.com/xai-org/grok-1 |access-date=2024-03-19 |publisher=xai-org |archive-date=2024-05-28 |archive-url=https://web.archive.org/web/20240528170731/https://github.com/xai-org/grok-1 |url-status=live }}</ref>
|{{dts|November 2023}}
|[[x.AI|এক্স.এআই]]
|| ৩১৪
|অজ্ঞাত
|অজ্ঞাত|| {{yes|অ্যাপাচি ২.০}}
| গ্রোক চ্যাটবটে ব্যবহার করা হয়েছিল। গ্রোক-১ এর প্রসঙ্গ দৈর্ঘ্য ৮,১৯২ টোকেন এবং এক্সেক্স (টুইটার) রয়েছে।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Grok-1 model card |ইউআরএল=https://x.ai/model-card/ |ওয়েবসাইট=x.ai |সংগ্রহের-তারিখ=12 December 2023}}</ref>
|-
|[[জেমিনি (ভাষা মডেল)|জেমিনি ১.০]]
|{{dts|December 2023}}
|[[Google DeepMind|গুগল ডিপমাইন্ড]]
|| অজ্ঞাত
|অজ্ঞাত
|অজ্ঞাত|| {{no|মালিকানাধীন}}
| মাল্টিমোডাল মডেল, তিনটি আকারে আসে। [[জেমিনি|একই নামের চ্যাটবটে]] ব্যবহৃত।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Gemini – Google DeepMind |ইউআরএল=https://deepmind.google/technologies/gemini/#capabilities |ওয়েবসাইট=deepmind.google |সংগ্রহের-তারিখ=12 December 2023 |আর্কাইভের-তারিখ=8 December 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231208015607/https://deepmind.google/technologies/gemini/#capabilities |ইউআরএল-অবস্থা=live }}</ref>
|-
|মিক্সট্রাল ৮এক্স৭বি
|{{dts|December 2023}}
|[[Mistral AI|মিস্ট্রাল এআই]]
|| ৪৬.৭
|অজ্ঞাত
|অজ্ঞাত|| {{yes|অ্যাপাচি ২.০}}
| অনেক বেঞ্চমার্কে জিপিটি-৩.৫ এবং লামা ২ ৭০বিকে ছাড়িয়ে যায়।<ref>{{ওয়েব উদ্ধৃতি |শেষাংশ১=Franzen |প্রথমাংশ১=Carl |শিরোনাম=Mistral shocks AI community as latest open source model eclipses GPT-3.5 performance |ইউআরএল=https://venturebeat.com/ai/mistral-shocks-ai-community-as-latest-open-source-model-eclipses-gpt-3-5-performance/ |ওয়েবসাইট=VentureBeat |সংগ্রহের-তারিখ=12 December 2023 |তারিখ=11 December 2023 |আর্কাইভের-তারিখ=11 December 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231211213640/https://venturebeat.com/ai/mistral-shocks-ai-community-as-latest-open-source-model-eclipses-gpt-3-5-performance/ |ইউআরএল-অবস্থা=live }}</ref> প্রতি টোকেন সক্রিয় ১২.৯ বিলিয়ন প্যারামিটারসহ বিশেষজ্ঞ মডেলের মিশ্রণ।<ref>{{ওয়েব উদ্ধৃতি |তারিখ=11 December 2023 |শিরোনাম=Mixtral of experts |ইউআরএল=https://mistral.ai/news/mixtral-of-experts/ |সংগ্রহের-তারিখ=12 December 2023 |ওয়েবসাইট=mistral.ai |আর্কাইভের-তারিখ=13 February 2024 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240213104049/https://mistral.ai/news/mixtral-of-experts/ |ইউআরএল-অবস্থা=live }}</ref>
|-
|মিক্সট্রাল ৮এক্স২২বি
|{{dts|April 2024}}
|[[Mistral AI|মিস্ট্রাল এআই]]
|| ১৪১
|অজ্ঞাত
|অজ্ঞাত|| {{yes|অ্যাপাচি ২.০}}
| <ref>{{ওয়েব উদ্ধৃতি |শেষাংশ=AI |প্রথমাংশ=Mistral |তারিখ=2024-04-17 |শিরোনাম=Cheaper, Better, Faster, Stronger |ইউআরএল=https://mistral.ai/news/mixtral-8x22b/ |সংগ্রহের-তারিখ=2024-05-05 |ওয়েবসাইট=mistral.ai |আর্কাইভের-তারিখ=2024-05-05 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240505023828/https://mistral.ai/news/mixtral-8x22b/ |ইউআরএল-অবস্থা=live }}</ref>
|-
|[[Phi (LLM)|ফি-২]]
|{{dts|December 2023}}
|মাইক্রোসফট
|| ২.৭
|১.৪ট্রিলিয়ন টোকেন
|৪১৯<ref name=":9" />|| {{yes|এমআইটি}}
| ৯৬ এ১০০ জিপিউতে ১৪ দিনের জন্য বাস্তব "সিন্থেটিক "পাঠ্যপুস্তক-গুণমান" ডেটার উপর প্রশিক্ষিত।<ref name=":9">{{ওয়েব উদ্ধৃতি |শেষাংশ১=Hughes |প্রথমাংশ১=Alyssa |শিরোনাম=Phi-2: The surprising power of small language models |ইউআরএল=https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ |ওয়েবসাইট=Microsoft Research |সংগ্রহের-তারিখ=13 December 2023 |তারিখ=12 December 2023 |আর্কাইভের-তারিখ=12 December 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20231212232647/https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ |ইউআরএল-অবস্থা=live }}</ref>
|-
|[[জেমিনি (ভাষা মডেল)|জেমিনি ১.৫]]
|{{dts|February 2024}}
|[[Google DeepMind|গুগল ডিপমাইন্ড]]
|| অজ্ঞাত
|অজ্ঞাত
|অজ্ঞাত|| {{no|মালিকানাধীন}}
| মাল্টিমোডাল মডেল, একটি মিক্সচার-অফ-এক্সপার্টস (এমওই) স্থাপত্যের উপর ভিত্তি করে। ১ মিলিয়ন টোকেনের উপরে প্রসঙ্গ উইন্ডো।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Our next-generation model: Gemini 1.5 |ইউআরএল=https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window |ওয়েবসাইট=Google |সংগ্রহের-তারিখ=16 February 2024 |তারিখ=15 February 2024 |উক্তি=This means 1.5 Pro can process vast amounts of information in one go — including 1 hour of video, 11 hours of audio, codebases with over 30,000 lines of code or over 700,000 words. In our research, we’ve also successfully tested up to 10 million tokens. |আর্কাইভের-তারিখ=16 February 2024 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240216003052/https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window |ইউআরএল-অবস্থা=live }}</ref>
|-
|[[জেমিনি (ভাষা মডেল)|জেমিনি আল্ট্রা]]
|{{dts|February 2024}}
|[[Google DeepMind|গুগল ডিপমাইন্ড]]
|| অজ্ঞাত
|অজ্ঞাত
|অজ্ঞাত||
|
|-
| জেমা || {{dts|February 2024}} || [[Google DeepMind|গুগল ডিপমাইন্ড]] || ৭ || ৬ট্রিলিয়ন টোকেন || অজ্ঞাত || {{partial success|জেমা ব্যবহারের শর্তাবলী}}<ref name="gemma">{{ওয়েব উদ্ধৃতি|ইউআরএল=https://ai.google.dev/gemma/terms|শিরোনাম=Gemma|মাধ্যম=GitHub}}</ref>|| 
|-
|[[ক্লড (ভাষা মডেল|ক্লড ৩]]
|মার্চ ২০২৪
|অ্যানথ্রোপিক
|অজ্ঞাত
|অজ্ঞাত
|অজ্ঞাত
|{{no|মালিকানাধীন}}
|তিনটি মডেল অন্তর্ভুক্ত, হাইকু, সনেট এবং ওপাস।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Introducing the next generation of Claude |ইউআরএল=https://www.anthropic.com/news/claude-3-family |সংগ্রহের-তারিখ=2024-03-04 |ওয়েবসাইট=www.anthropic.com |আর্কাইভের-তারিখ=2024-03-04 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240304143650/https://www.anthropic.com/news/claude-3-family |ইউআরএল-অবস্থা=live }}</ref>
|-
|নোভা
|অক্টোবর ২০২৪
|[https://rubiks.ai/ রুবিকস এআই]
|অজ্ঞাত
|অজ্ঞাত 
|অজ্ঞাত
|{{no|মালিকানাধীন}}
|তিনটি মডেল অন্তর্ভুক্ত, নোভা-ইনস্ট্যান্ট, নোভা-এয়ার এবং নোভা-প্রো।
|-
|[[ডিবিআরএক্স]]
|মার্চ ২০২৪
|ডেটাব্রিকস এবং মোজাইক এমএল
|{{sort|13600000000|১৩৬}}
|১২ট্রিলিয়ন টোকেন
|
|{{Yes|ডেটাব্রিকস উন্মুক্ত মডেল লাইসেন্স}}
|প্রশিক্ষণ খরচ ১০ মিলিয়ন মার্কিন ডলার।
|-
|ফুগাকু-এলএলএম
|মে ২০২৪
|ফুজিৎসু, টোকিও ইনস্টিটিউট অফ টেকনোলজি, ইত্যাদি।
|{{sort|1300000000|১৩}}
|৩৮০বিলিয়ন টোকেন
|
|
|ফুগাকুতে শুধুমাত্র সিপিইউতে প্রশিক্ষিত সবচেয়ে বড় মডেল।<ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Fugaku-LLM/Fugaku-LLM-13B · Hugging Face |ইউআরএল=https://huggingface.co/Fugaku-LLM/Fugaku-LLM-13B |সংগ্রহের-তারিখ=2024-05-17 |ওয়েবসাইট=huggingface.co |আর্কাইভের-তারিখ=2024-05-17 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240517135225/https://huggingface.co/Fugaku-LLM/Fugaku-LLM-13B |ইউআরএল-অবস্থা=live }}</ref>
|-
|[[ফি (এলএলএম)|ফি-৩]]
|{{dts|April 2024}}
|মাইক্রোসফট
|১৪<ref>{{ওয়েব উদ্ধৃতি|শিরোনাম=Phi-3|ইউআরএল=https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms|সংগ্রহের-তারিখ=2024-04-28|ওয়েবসাইট=azure.microsoft.com|তারিখ=23 April 2024|আর্কাইভের-তারিখ=2024-04-27|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240427043835/https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/|ইউআরএল-অবস্থা=live}}</ref>
|৪.৮ট্রিলিয়ন টোকেন
|
|{{Yes|এমআইটি}}
|মাইক্রোসফট এটিকে "ছোট ভাষা মডেল" হিসাবে বাজারজাত করেছে।<ref>{{ওয়েব উদ্ধৃতি|শিরোনাম=Phi-3 Model Documentation|ইউআরএল=https://huggingface.co/docs/transformers/main/en/model_doc/phi3|সংগ্রহের-তারিখ=2024-04-28|ওয়েবসাইট=huggingface.co|আর্কাইভের-তারিখ=2024-05-13|আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240513141513/https://huggingface.co/docs/transformers/main/en/model_doc/phi3|ইউআরএল-অবস্থা=live}}</ref> 
|-
|[[আইবিএম গ্রানাইট|গ্রানাইট কোড মডেল]]
|{{dts|May 2024}}
|[[IBM|আইবিএম]]
|| অজ্ঞাত
|অজ্ঞাত
|অজ্ঞাত|| {{yes|অ্যাপাচি ২.০}}
|
|-
|কিউওয়েন২
|{{dts|June 2024}}
|[[Alibaba Cloud|আলিবাবা ক্লাউড]]
|৭২<ref>{{ওয়েব উদ্ধৃতি|শিরোনাম= Qwen2|ওয়েবসাইট= [[GitHub]]|ইউআরএল= https://github.com/QwenLM/Qwen2?spm=a3c0i.28768018.7084722650.1.5cd35c10NEqBXm&file=Qwen1.5|সংগ্রহের-তারিখ= 2024-06-17|আর্কাইভের-তারিখ= 2024-06-17|আর্কাইভের-ইউআরএল= https://web.archive.org/web/20240617072401/https://github.com/QwenLM/Qwen2?spm=a3c0i.28768018.7084722650.1.5cd35c10NEqBXm&file=Qwen1.5|ইউআরএল-অবস্থা= live}}</ref>
|৩ট্রিলিয়ন টোকেন
|
|
|একাধিক মাপ, সবচেয়ে ছোট হচ্ছে ০.৫বি।
|-
|নিমোট্রন-৪
|জুন ২০২৪
|[[এনভিডিয়া]] 
|{{sort|34000000000|৩৪০}}
|৯ট্রিলিয়ন টোকেন
| {{sort|200000|২০০,০০০}}
|{{Yes|এনভিডিয়া ওপেন মডেল লাইসেন্স}}
|১ যুগের জন্য প্রশিক্ষিত। ডিসেম্বর ২০২৩ থেকে মে ২০২৪ এর মধ্যে ৬১৪৪ এইচ১০০ জিপিউতে প্রশিক্ষণ দেওয়া হয়েছে।<ref>{{ওয়েব উদ্ধৃতি |তারিখ=2024-06-14 |শিরোনাম=nvidia/Nemotron-4-340B-Base · Hugging Face |ইউআরএল=https://huggingface.co/nvidia/Nemotron-4-340B-Base |সংগ্রহের-তারিখ=2024-06-15 |ওয়েবসাইট=huggingface.co |আর্কাইভের-তারিখ=2024-06-15 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240615010323/https://huggingface.co/nvidia/Nemotron-4-340B-Base |ইউআরএল-অবস্থা=live }}</ref><ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=Nemotron-4 340B {{!}} Research |ইউআরএল=https://research.nvidia.com/publication/2024-06_nemotron-4-340b |সংগ্রহের-তারিখ=2024-06-15 |ওয়েবসাইট=research.nvidia.com |আর্কাইভের-তারিখ=2024-06-15 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240615010323/https://research.nvidia.com/publication/2024-06_nemotron-4-340b |ইউআরএল-অবস্থা=live }}</ref>
|-
|লামা ৩.১
|জুলাই ২০২৪
|মেটা এআই
|৪০৫
|১৫.৬ট্রিলিয়ন টোকেন
|{{sort|440000|৪৪০,০০০}}
| {{partial success|লামা ৩ লাইসেন্স}}
|৪০৫বি সংস্করণ এইচ১০০-৮০জিবিতে ৩১ মিলিয়ন ঘন্টা সময় নিয়েছে, ৩.৮ই২৫ ফ্লপে।<ref>[https://ai.meta.com/research/publications/the-llama-3-herd-of-models/ "The Llama 3 Herd of Models" (July 23, 2024) Llama Team, AI @ Meta]</ref><ref>{{ওয়েব উদ্ধৃতি |শিরোনাম=llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models |ইউআরএল=https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/MODEL_CARD.md |সংগ্রহের-তারিখ=2024-07-23 |ওয়েবসাইট=GitHub |ভাষা=en |আর্কাইভের-তারিখ=2024-07-23 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20240723151851/https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/MODEL_CARD.md |ইউআরএল-অবস্থা=live }}</ref>
|}

== আরও দেখুন ==
* [[কৃত্রিম বুদ্ধিমত্তা]]

== পাদটীকা ==
{{notelist}}

== তথ্যসূত্র ==
{{সূত্র তালিকা|refs=
<ref name="glam-blog">{{ওয়েব উদ্ধৃতি |শেষাংশ১=Dai |প্রথমাংশ১=Andrew M |শেষাংশ২=Du |প্রথমাংশ২=Nan |তারিখ=December 9, 2021 |শিরোনাম=More Efficient In-Context Learning with GLaM |ইউআরএল=https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html |সংগ্রহের-তারিখ=2023-03-09 |ওয়েবসাইট=ai.googleblog.com |আর্কাইভের-তারিখ=2023-03-12 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230312072042/https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html |ইউআরএল-অবস্থা=live}}</ref>
<ref name="15Brelease">{{ওয়েব উদ্ধৃতি |ইউআরএল = https://openai.com/blog/gpt-2-1-5b-release/ |শিরোনাম = GPT-2: 1.5B Release |তারিখ = 2019-11-05 |ওয়েবসাইট = OpenAI |ভাষা = en |সংগ্রহের-তারিখ = 2019-11-14 |আর্কাইভের-তারিখ = 2019-11-14 |আর্কাইভের-ইউআরএল = https://web.archive.org/web/20191114074358/https://openai.com/blog/gpt-2-1-5b-release/ |ইউআরএল-অবস্থা = live}}</ref>
<ref name="chatgpt-blog">{{ওয়েব উদ্ধৃতি |তারিখ=2022-11-30 |শিরোনাম=ChatGPT: Optimizing Language Models for Dialogue |ইউআরএল=https://openai.com/blog/chatgpt/ |সংগ্রহের-তারিখ=2023-01-13 |ওয়েবসাইট=OpenAI |আর্কাইভের-তারিখ=2022-11-30 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20221130180912/https://openai.com/blog/chatgpt/ |ইউআরএল-অবস্থা=live}}</ref>
<ref name="vb-gpt-neo">{{ওয়েব উদ্ধৃতি |কর্ম=VentureBeat |শেষাংশ=Iyer |প্রথমাংশ=Abhishek |শিরোনাম=GPT-3's free alternative GPT-Neo is something to be excited about |তারিখ=15 May 2021 |ইউআরএল=https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/ |সংগ্রহের-তারিখ=13 March 2023 |আর্কাইভের-তারিখ=9 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230309012717/https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/ |ইউআরএল-অবস্থা=live}}</ref>
<ref name="mtnlg-preprint">{{Cite arXiv |last1=Smith |first1=Shaden |last2=Patwary |first2=Mostofa |last3=Norick |first3=Brandon |last4=LeGresley |first4=Patrick |last5=Rajbhandari |first5=Samyam |last6=Casper |first6=Jared |last7=Liu |first7=Zhun |last8=Prabhumoye |first8=Shrimai |last9=Zerveas |first9=George |last10=Korthikanti |first10=Vijay |last11=Zhang |first11=Elton |last12=Child |first12=Rewon |last13=Aminabadi |first13=Reza Yazdani |last14=Bernauer |first14=Julie |last15=Song |first15=Xia |date=2022-02-04 |title=Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model |class=cs.CL |eprint=2201.11990}}</ref>
<ref name="lamda-blog">{{ওয়েব উদ্ধৃতি |শেষাংশ১=Cheng |প্রথমাংশ১=Heng-Tze |শেষাংশ২=Thoppilan |প্রথমাংশ২=Romal |তারিখ=January 21, 2022 |শিরোনাম=LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything |ইউআরএল=https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html |সংগ্রহের-তারিখ=2023-03-09 |ওয়েবসাইট=ai.googleblog.com |আর্কাইভের-তারিখ=2022-03-25 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20220325014118/https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html |ইউআরএল-অবস্থা=live}}</ref>
<ref name="chinchilla-blog">{{ওয়েব উদ্ধৃতি |কর্ম=Deepmind Blog |শিরোনাম=An empirical analysis of compute-optimal large language model training |প্রথমাংশ১=Jordan |শেষাংশ১=Hoffmann |প্রথমাংশ২=Sebastian |শেষাংশ২=Borgeaud |প্রথমাংশ৩=Arthur |শেষাংশ৩=Mensch |প্রথমাংশ৪=Laurent |শেষাংশ৪=Sifre |তারিখ=12 April 2022 |ইউআরএল=https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training |সংগ্রহের-তারিখ=9 March 2023 |আর্কাইভের-তারিখ=13 April 2022 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20220413014510/https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training |ইউআরএল-অবস্থা=live}}</ref>
<ref name="palm-blog">{{ওয়েব উদ্ধৃতি |শেষাংশ১=Narang |প্রথমাংশ১=Sharan |শেষাংশ২=Chowdhery |প্রথমাংশ২=Aakanksha |তারিখ=April 4, 2022 |শিরোনাম=Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance |ইউআরএল=https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html |সংগ্রহের-তারিখ=2023-03-09 |ওয়েবসাইট=ai.googleblog.com |ভাষা=en |আর্কাইভের-তারিখ=2022-04-04 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20220404161447/https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html |ইউআরএল-অবস্থা=live}}</ref>
<ref name="llama-blog">{{ওয়েব উদ্ধৃতি |কর্ম=Meta AI |শিরোনাম=Introducing LLaMA: A foundational, 65-billion-parameter large language model |তারিখ=24 February 2023 |ইউআরএল=https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ |সংগ্রহের-তারিখ=9 March 2023 |আর্কাইভের-তারিখ=3 March 2023 |আর্কাইভের-ইউআরএল=https://web.archive.org/web/20230303112302/https://ai.facebook.com/blog/large-language-model-llama-meta-ai/ |ইউআরএল-অবস্থা=live}}</ref>
}}

== আরও পড়ুন ==
* [[Dan Jurafsky|Jurafsky, Dan]], Martin, James. H. [https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf ''Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition''], 3rd Edition draft, 2023.
* {{cite arXiv |last1=Zhao |first1=Wayne Xin |last2=Zhou |first2=Kun |last3=Li |first3=Junyi |display-authors=1 |title=A Survey of Large Language Models |date=2023 |class=cs.CL |eprint=2303.18223}}
* {{cite arXiv |last1=Kaddour |first1=Jean |display-authors=etal |title=Challenges and Applications of Large Language Models |date=2023 |class=cs.CL |eprint=2307.10169}}
* {{Cite arXiv |last1=Yin |first1=Shukang |last2=Fu |first2=Chaoyou |last3=Zhao |first3=Sirui |last4=Li |first4=Ke |last5=Sun |first5=Xing |last6=Xu |first6=Tong |last7=Chen |first7=Enhong |date=2023-06-01 |title=A Survey on Multimodal Large Language Models |class=cs.CV |eprint=2306.13549}}
* {{ওয়েব উদ্ধৃতি |শিরোনাম=AI Index Report 2024 – Artificial Intelligence Index |ইউআরএল=https://aiindex.stanford.edu/report/ |সংগ্রহের-তারিখ=2024-05-05 |ওয়েবসাইট=aiindex.stanford.edu}}
* {{সাময়িকী উদ্ধৃতি |শেষাংশ১=Frank |প্রথমাংশ১=Michael C. |শিরোনাম=Baby steps in evaluating the capacities of large language models |সাময়িকী=Nature Reviews Psychology |তারিখ=27 June 2023 |খণ্ড=2 |সংখ্যা নং=8 |পাতাসমূহ=451–452 |ডিওআই=10.1038/s44159-023-00211-x |s2cid=259713140 |ইউআরএল=https://www.nature.com/articles/s44159-023-00211-x |সংগ্রহের-তারিখ=2 July 2023 |issn=2731-0574}}

{{Natural language processing}}
{{Artificial intelligence (AI)}}

[[বিষয়শ্রেণী:বৃহৎ ভাষার মডেল| ]]
[[বিষয়শ্রেণী:গভীর শিখন]]
[[বিষয়শ্রেণী:প্রাকৃতিক ভাষা প্রক্রিয়াকরণ]]