از انتخاب استناد تا جذب استناد: چرا قرار گرفتن در منابع با شکل دادن به پاسخ یکی نیست

نویسنده و پژوهشگر: تقی مولوی (Taqi Molavi) ناشر: اندیشکده تحقیق و توسعه برند تقی مولوی (molavi.pro/notes) تاریخ انتشار: ۱۹ مهر ۱۴۰۵ (۱۰ اکتبر ۲۰۲۶) دسته‌بندی: معماری RAG و مهندسی بازیابی (RAG Architecture & GEO)

۱. معمای قیف RAG: وقتی در منابع هستید، اما در پاسخ غیب می‌شوید!

بسیاری از مدیران سایت‌ها و سئوکاران با هیجان اعلام می‌کنند:

*«دیدید؟ وقتی در Perplexity یا چت‌جی‌پی‌تی سوال می‌پرسیم، آدرس سایت ما در بخش منابع کوچک پایین صفحه (Sources) نمایش داده می‌شود!»*

اما وقتی با دقت پاسخ تولیدشدهٔ هوش مصنوعی را می‌خوانید، متوجه یک فاجعهٔ پنهان می‌شوید: هوش مصنوعی متن نهایی خود را بر اساس حرف‌های رقیب شما نوشته است و هیچ‌کدام از فکت‌ها، آمارها یا استدلال‌های مقالهٔ شما را در بدنهٔ اصلی پاسخ استفاده نکرده است!

این شکاف بزرگ دقیقاً همان پدیده‌ای است که در مقاله دانشگاهی سال ۲۰۲۶ با عنوان *From Citation Selection to Citation Absorption* (arXiv:2604.25707) به اثبات رسیده است. سیستم‌های RAG مدرن یک فرایند دومرحله‌ای مجزا دارند:

1. مرحله ۱: انتخاب استناد (Citation Selection): موتور بازیابی (Retriever) ۱۰ یا ۲۰ صفحه وب مرتبط با موضوع را بر اساس تطابق برداری و واژگانی دانلود می‌کند.
2. مرحله ۲: جذب استناد (Citation Absorption): مدل زبانی (Generator / Synthesizer) این متون را می‌خواند و تصمیم می‌گیرد کدام بخش‌ها آن‌قدر مستدل و غنی هستند که وارد استدلال نهایی شوند.

بسیاری از وب‌سایت‌ها از فیلتر مرحله اول رد می‌شوند، اما در مرحله دوم مانند یک غریبه دور انداخته می‌شوند!

۲. سنجه نسبت جذب استناد (Citation Absorption Ratio)

برای سنجش این پدیده، ما در متدولوژی شاخص MAVI سنجهٔ نسبت جذب (Absorption Ratio - AR) را تعریف کرده‌ایم:

$$\text{Absorption Ratio (AR)} = \frac{\text{تعداد دفعاتی که فکت‌های سایت در متن نهایی جذب شدند}}{\text{تعداد دفعاتی که سایت در لیست منابع اولیه انتخاب شد}}$$

┌────────────────────────────────────────────────────────┐
│  ورودی RAG: بازیابی وب (Citation Selection)            │
│  [سایت A]   [سایت شما]   [سایت B]   [سایت C]            │
└──────────────────────────┬─────────────────────────────┘
                           │  فیلتر تراکم فکت و آنتروپی
                           ▼
┌────────────────────────────────────────────────────────┐
│  خروجی نهایی: متن استدلال‌شده (Citation Absorption)    │
│  «بر اساس شواهد سایت A و B... [سایت شما حذف شد!]»      │
└────────────────────────────────────────────────────────┘

تحلیل عددی مقادیر AR:

* $AR < 0.35$ (وضعیت بحرانی / شکست جذب): نشان می‌دهد متون شما پر از کلمات پرکننده، شعارهای بازاریابی و فاقد اطلاعات صلب و استنادپذیر است. * $0.35 \le AR \le 0.65$ (وضعیت متوسط): بخشی از تعاریف جذب می‌شود اما در تصمیم‌گیری‌های حساس نادیده گرفته می‌شوید. * $AR > 0.65$ (وضعیت ایده‌آل / مرجعیت دانشی): ساختار محتوایی شما چنان به صورت گزاره‌های مستقل (Self-contained propositions) تنظیم شده که مدل برای پاسخ‌دهی ناچار به جذب آن است.

۳. چرا مدل‌های هوش مصنوعی صفحات شما را دور می‌اندازند؟ (۴ علت اصلی)

1. حشو و کلمات شعاری (Low Information Density):

اگر پاراگراف شما با جملاتی مثل «در دنیای پرشتاب امروز، شرکت ما با افتخار مفتخر است که بهترین خدمات نوآورانه را به مشتریان عزیز ارائه دهد...» شروع شود، مدل هوش مصنوعی در همان توکن‌های اول چانک شما را فاقد بار معنایی دانسته و رد می‌کند.

1. پراکندگی فکت‌ها و نبود گزاره‌های خودکفا (Fragmented Entities):

اگر قیمت، مشخصات فنی یا روش کار در قالب جملات مستقل نیامده باشد و وابسته به ضمایر مبهم («این روش»، «آن محصول») باشد، مدل نمی‌تواند آن را به تنهایی از متن استخراج کند.

1. عدم تطابق زبانی در بازارهای چندزبانه:

در بنچمارک‌های ما، مدل‌ها صفحات فارسی و عربی را در بخش منابع می‌آورند اما متن نهایی را بر اساس خلاصه‌های انگلیسی سنتز می‌کنند؛ زیرا چگالی مقالات انگلیسی در مرحله پیش‌آموزش بسیار بالاتر بوده است.

1. آلودگی ساختار DOM:

وجود بنرها، منوهای تو در تو و متون جاوااسکریپتی اضافه که متن اصلی را خفه کرده‌اند.

۴. راهکار مهندسی: بازسازی چانک‌ها با معماری VPA و ابزارهای متن‌باز

برای اینکه نرخ جذب استناد خود را افزایش دهید، باید سه تغییر ساختاری ایجاد کنید:

1. پیاده‌سازی معماری VPA (کاهش آنتروپی معنایی):

با استفاده از متدولوژی معماری VPA، هر پاراگراف از محتوا باید دارای یک فکت دست‌اول، یک عدد مستند و یک گزارهٔ مستقل بدون وابستگی به قبل و بعد باشد.

1. اصلاح و ترمیم زیرساخت با [SiteProbe](https://github.com/tmolavi/siteprobe):

حذف کدهای زائد جاوااسکریپت و بهینه‌سازی رندر SSR برای اینکه خزشگر هوش مصنوعی مستقیماً متن خالص را بدون پارازیت دریافت کند.

1. ممیزی چانک‌ها با [SAGE Pillar 3](https://github.com/tmolavi/sage-audit):

بررسی امتیاز تراکم اطلاعاتی متن (Information-to-Token Ratio) قبل از انتشار.

۵. جمع‌بندی و گام‌های بعدی

حضور در لیست منابع فقط به معنای «بازدید اولیه» است؛ پیروزی واقعی زمانی اتفاق می‌افتد که هوش مصنوعی با استدلال و کلمات شما پاسخ کاربر را شکل دهد.

برای عمیق‌تر شدن در این مباحث: * مطالعه مقاله بنیادین: معماری VPA و کنترل آنتروپی معنایی در RAG * نحوه اندازه‌گیری جذب در متدولوژی ما: شاخص جامع دیده شدن در هوش مصنوعی مولوی (MAVI) * مشاهده نتایج پروژه‌های اصلاح‌شده: شواهد فنی و نتایج بنچمارک‌ها * درخواست ارزیابی تخصصی برای وب‌سایت شما: ممیزی اختصاصی GEO و RAG