- فرض کنید جملهی زیر وارد یک مدل زبانی میشود:The trophy doesn’t fit into the brown suitcase becau…
انتشار: 2026/07/27 16:48 UTC
- فرض کنید جملهی زیر وارد یک مدل زبانی میشود:The trophy doesn’t fit into the brown suitcase because it is too small.وقتی ما این جمله را میخوانیم، تقریباً بدون فکر متوجه میشویم که it به suitcase اشاره میکند، نه trophy.اما برای یک کامپیوتر، نه «جام» وجود دارد، نه «چمدان»، نه حتی مفهوم «کوچک بودن».پس مدل این موضوع را از کجا میفهمد؟بیایید مسیر پردازش این جمله را از دید ریاضی دنبال کنیم.━━━━━━━━━━━━━━1) متن، یک سیگنال گسسته است.اولین کاری که مدل انجام میدهد، این نیست که معنی جمله را بفهمد.اصلاً هنوز چیزی به اسم «معنی» وجود ندارد.مدل فقط یک دنباله دریافت میکند.در درس سیگنال و سیستم معمولاً سیگنال را به صورت:x[n]نمایش میدهیم؛دنبالهای از نمونهها که با اندیس n مشخص میشوند.در پردازش زبان نیز تقریباً همین اتفاق رخ میدهد.جمله به دنبالهای از توکنها تبدیل میشود:x[0], x[1], x[2], … , x[N]تنها تفاوت این است که این بار محور مستقل، زمان نیست؛ بلکه موقعیت کلمات در جمله است.از دید ریاضی، متن نیز یک سیگنال گسسته است.━━━━━━━━━━━━━━2) نمونهها باید قابل پردازش شوند.در DSP هر نمونه ممکن است فقط یک مقدار ولتاژ باشد.اما یک کلمه را نمیتوان با یک عدد نمایش داد.به همین دلیل هر توکن به یک بردار با صدها یا هزاران مؤلفه تبدیل میشود؛ چیزی که آن را Embedding مینامیم.در واقع سیگنال اسکالر ما به یک سیگنال برداری تبدیل شده است.هر کلمه اکنون نقطهای در یک فضای بسیار بزرگ است؛ فضایی که در آن، کلمات با رفتار مشابه معمولاً به یکدیگر نزدیکتر هستند.━━━━━━━━━━━━━━3) آیا هر نمونه را میتوان مستقل تحلیل کرد؟در سیگنال و سیستم معمولاً برای تحلیل یک نقطه از سیگنال، به همسایههای آن نیز نگاه میکنیم.یک پالس، یک لبه یا حتی یک فرکانس، از مشاهدهی تنها یک نمونه قابل تشخیص نیست.ساختار سیگنال در ارتباط بین نمونهها نهفته است.در زبان نیز همین اتفاق رخ میدهد.اگر فقط کلمهی:itرا ببینیم، هیچ اطلاعاتی دربارهی مرجع آن نداریم.مدل باید کل جمله را بررسی کند تا تشخیص دهد این ضمیر به کدام اسم اشاره میکند.یعنی اطلاعات موردنیاز، نه در یک نمونه، بلکه در رابطهی بین نمونهها قرار دارد.━━━━━━━━━━━━━━4) حالا سیستم باید اطلاعات مفید را استخراج کند.در DSP این کار را معمولاً با فیلترها انجام میدهیم.یک فیلتر، برخی مؤلفهها را تقویت میکند و برخی دیگر را تضعیف؛ تا ویژگی موردنظر بهتر دیده شود.اما زبان یک تفاوت اساسی با بسیاری از سیستمهای کلاسیک دارد.اگر جمله را کمی تغییر دهیم:The trophy doesn’t fit into the brown suitcase because it is too big.اکنون همان ضمیر it دیگر به trophy اشاره میکند، نه suitcase.در نتیجه، سیستمی که همیشه یک فیلتر ثابت داشته باشد، نمیتواند این دو جمله را درست تحلیل کند.مدل باید بتواند متناسب با هر ورودی، تصمیم بگیرد کدام کلمات مهمتر هستند و ارتباط میان آنها چقدر اهمیت دارد.از این منظر، میتوان Self-Attention را شبیه یک فیلتر تطبیقی دانست؛ فیلتری که ضرایب آن، از خود سیگنال ورودی استخراج میشوند، نه اینکه از قبل ثابت باشند.━━━━━━━━━━━━━━



