وقتی از ابزارهای هوش مصنوعی یا API آن‌ها استفاده می‌کنید، مدام با کلمه توکن (Token) روبه‌رو می‌شوید: محدودیت توکن، قیمت هر میلیون توکن، پنجره زمینه چند هزار توکنی. توکن واحد پایهای است که مدلهای زبانی با آن متن را می‌خوانند و تولید میکنند.
توکن دقیقاً چیست؟
مدلهای زبانی متن را مستقیماً به‌صورت حروف یا کلمات کامل پردازش نمی‌کنند؛ آن را به قطعاتی به نام توکن می‌شکنند. یک توکن ممکن است یک کلمه کامل، بخشی از یک کلمه، یک علامت نگارشی یا حتی یک فاصله باشد. در انگلیسی، هر توکن به‌طور میانگین حدود سه‌چهارم یک کلمه است.
توکن در زبان فارسی
برای زبان فارسی، معمولاً تعداد توکن‌ها برای یک متن هماندازه بیشتر از انگلیسی است، چون توکن‌سازها بیشتر روی متن انگلیسی بهینه شدهاند. یعنی یک متن فارسی ممکن است هزینه و فضای بیشتری از پنجره زمینه مصرف کند. این نسبت به مدل و توکن‌ساز آن بستگی دارد و در مدلهای جدیدتر بهتر شده است.
چرا توکن مهم است؟
۱. هزینه
بیشتر APIهای هوش مصنوعی بر اساس تعداد توکن ورودی و خروجی هزینه می‌گیرند. توکنهای خروجی معمولاً گرانتر از توکنهای ورودی هستند.
۲. پنجره زمینه (Context Window)
هر مدل حداکثری برای مجموع توکنهای ورودی و خروجی دارد. اگر سند شما از این حد بزرگ‌تر باشد، باید آن را تقسیم یا خلاصه کنید یا از RAG استفاده کنید.
۳. سرعت
هرچه تعداد توکنهای خروجی بیشتر باشد، تولید پاسخ زمان بیشتری می‌برد.
۴. محدودیت‌های استفاده
بسیاری از سرویس‌ها محدودیت نرخ (Rate Limit) را بر اساس توکن در دقیقه تعریف میکنند.
چطور مصرف توکن را بهینه کنیم؟
- پرامپت را مختصر و دقیق بنویسید: توضیحات تکراری را حذف کنید (پرومپت انجینیرینگ).
- طول خروجی را محدود کنید: با دستورالعمل یا پارامتر حداکثر توکن.
- فقط بخش مرتبط سند را بفرستید: نه کل سند.
- از کش پرامپت استفاده کنید: بسیاری از ارائه‌دهندگان برای بخش‌های تکراری ورودی تخفیف یا کش دارند.
- مدل مناسب انتخاب کنید: برای کارهای ساده، مدلهای سبک‌تر بسیار ارزان‌ترند.
- تاریخچه گفتگو را مدیریت کنید: در گفتگوهای طولانی، پیام‌های قدیمی را خلاصه کنید.
شمارش توکن
ارائه‌دهندگان مدل معمولاً ابزار یا API شمارش توکن دارند. برای برآورد هزینه یک پروژه، چند نمونه واقعی را بشمارید و در تعداد درخواست‌های ماهانه ضرب کنید.
توکن در معنای دیگر
کلمه توکن در حوزه‌های دیگر هم استفاده میشود: در امنیت به معنای کلید دسترسی (مثل توکن API یا توکن احراز هویت) و در بلاک‌چین به معنای دارایی دیجیتال. اگر کلید API هوش مصنوعی دارید، آن را مثل رمز عبور محرمانه نگه دارید و هرگز در کد سمت کاربر یا مخازن عمومی قرار ندهید.
جمع‌بندی
درک توکن به شما کمک میکند هزینه، سرعت و محدودیت‌های ابزارهای هوش مصنوعی را بهتر مدیریت کنید. برای استفاده از API در سایت، مقاله API هوش مصنوعی را بخوانید.
سوالات متداول
توکن در هوش مصنوعی چیست؟
توکن واحد پایهای است که مدلهای زبانی با آن متن را پردازش میکنند؛ میتواند یک کلمه، بخشی از کلمه یا یک علامت نگارشی باشد.
چرا متن فارسی توکن بیشتری مصرف میکند؟
توکنسازهای بسیاری از مدلها بیشتر روی متن انگلیسی بهینه شدهاند، بنابراین متن فارسی هماندازه معمولاً به توکنهای بیشتری تقسیم میشود.
پنجره زمینه (Context Window) چیست؟
حداکثر تعداد توکنی است که مدل میتواند همزمان در ورودی و خروجی پردازش کند.
هزینه API هوش مصنوعی چطور محاسبه میشود؟
معمولاً بر اساس تعداد توکنهای ورودی و خروجی، و توکنهای خروجی اغلب گرانتر از ورودی هستند.
چطور مصرف توکن را کاهش دهیم؟
با پرامپت مختصر، محدود کردن طول خروجی، ارسال فقط بخش مرتبط اسناد، استفاده از کش پرامپت و انتخاب مدل سبک‌تر برای کارهای ساده.