ترم گذشته برادران عمیدی یه کورس بسیار ارزشمندی رو تو دانشگاه اسنتفورد برگزار کردن با عنوان Transformers & LLMs که هدفش آموزش ساخت و درک نحوهی کارکرد مدلهای زبانی هستش. توصیه میکنم اگر تو این فیلد فعال هستید تو واچ لیستتون قرار بدیدش. https://www.yout…اگه فرصت نمیکنید این کورس رو به صورت کامل ببینید، حتما این قسمتش رو ببینید که خیلی اطلاعات مفیدی داره.بخشهای مختلف کورس:Chapters:00:00:00 Introduction00:01:02 Recap of Transformers-based models00:03:43 LLM definition00:07:37 Mixture of Experts00:12:43 Dense & Sparse MoE00:15:47 MoE in LLMs00:36:35 Response generation00:38:34 Greedy decoding & beam search00:46:36 Sampling-based methods00:52:24 Impact of temperature on predictions01:04:53 Guided decoding01:07:07 Prompting strategies01:14:09 In-context learning01:18:35 Chain-of-thought, self-consistency01:25:00 Inference optimizations with KV cache01:33:09 PagedAttention, MLA@Ai_Events