جوجل وبينج تتفقان على قاعدة واحدة في robots.txt لمنع تدريب الذكاء الاصطناعي: هل تمنعها علامتك التجارية؟

الإجابة المختصرة: لمعظم العلامات التجارية، لا. في 30 أكتوبر 2026 أعلنت Google وMicrosoft أنهما ستحترمان إشارة مشتركة في ملف robots.txt تتيح للموقع رفض استخدام محتواه في تدريب نماذج الذكاء الاصطناعي، كما التزمت OpenAI بها أيضًا وفقًا لموقع PPC Land. لكن منع التدريب قرار مختلف تمامًا عن منع الظهور في إجابات الذكاء الاصطناعي. إذا كنت تبيع لعملاء في مصر أو السعودية أو الإمارات وتريد أن تظهر علامتك عندما يسأل الناس ChatGPT أو Copilot أو ميزات Google الذكية، فاترك صفحاتك التسويقية مفتوحة، واحمِ فقط المحتوى الذي تتقاضى مقابله مالًا.

الإشارة لم تُفعَّل بعد. تقول Microsoft إنها ستبدأ في احترام التفضيلات الجديدة يوم 1 فبراير 2027، وتقول Google إنها تهدف لدعمها خلال 2027. والقاعدة نفسها ما زالت مسودة (Internet-Draft) منشورة لدى IETF (فريق عمل هندسة الإنترنت)، أي أن تفاصيلها قد تتغير. وهذا يمنحك بضعة أشهر لتتخذ قرارًا هادئًا بدلًا من قرار متوتر.

ماذا أعلنت Google وBing بالضبط؟

خرج المقترح من نقاشات مجموعة عمل تفضيلات الذكاء الاصطناعي (AIPREF) في IETF. وهو يحدد اسمًا خاصًا هو `__usage_ai-training` تضعه في سطر User-Agent داخل ملف robots.txt. هذا الاسم ليس زاحفًا، بل علامة تخبر شركات الذكاء الاصطناعي المشاركة هل تقبل استخدام محتواك في تدريب نماذجها أم لا. ويبدو المثال الوارد في المسودة هكذا:

• `User-Agent: __usage_ai-training`
• `Disallow: /` (لا تدريب على الموقع كله)
• `Allow: /press-kit/` (باستثناء هذا المجلد)

قالت Google إن هذه الأداة «ستساعد المواقع على التعبير عن تفضيلاتها بشأن تدريب الذكاء الاصطناعي لدى عدة مزودين في خطوة واحدة». وأضافت أنه إذا استخدمت الإشارة الجديدة للرفض دون ذكر Google-Extended بشكل منفصل، فستتعامل مع ذلك كأنك منعت Google-Extended، وهي أداة التحكم الحالية لديها. وتظل أدوات التحكم الخاصة بكل شركة، مثل Google-Extended وGPTBot الخاص بـ OpenAI، تعمل إلى جانب الإشارة المشتركة.

أما Microsoft فذهبت أبعد من ذلك. أعلنت Bing ثلاثة إعدادات منفصلة: التدريب (AI Training)، والاستناد (AI Grounding) أي استخدام صفحاتك لبناء إجابات الذكاء الاصطناعي، والاستناد المحدود (Limited Grounding) الذي يسمح لمنتجات Microsoft فقط دون خدمات الطرف الثالث. والجدول الزمني: أدوات مؤقتة في Bing Webmaster Tools بدءًا من 15 ديسمبر 2026 للمواقع التي تستخدم توجيهات NoArchive أو NoCache القديمة، ثم احترام التفضيلات الجديدة من 1 فبراير 2027، وموعد نهائي في 1 مارس 2027 لانتقال هذه المواقع إلى الإعدادات الجديدة، وتنتهي الأدوات المؤقتة في 30 سبتمبر 2027.

التدريب والظهور في الإجابات قراران مختلفان

هنا يخطئ معظم الفرق. التدريب يعني أن شركة تستخدم محتواك لتغيير ما يتعلمه نموذجها. أما الاستناد فيعني أن مساعد الذكاء الاصطناعي يجلب صفحتك عندما يسأل شخص سؤالًا، وغالبًا مع رابط يعود إليك. وتقولها Bing بوضوح: يمكنك منع إجابات الذكاء الاصطناعي من استخدام محتواك، لكن ذلك قد يقلل ظهورك في تجارب الذكاء الاصطناعي. وتؤكد أيضًا أن ترتيب نتائج Bing التقليدية لن يتأثر.

ومن جهة Google، فإن Google-Extended لا يؤثر على الترتيب أو الظهور في بحث Google، كما نقل موقع Search Engine Roundtable عندما أوضحت Google طبيعة هذه الأداة. لكن Google تقول أيضًا إن المواقع التي تسمح بـ Google-Extended مؤهلة للظهور في الإجابات المستندة إلى المصادر داخل تطبيقات Gemini. أي أن الرفض الشامل قد يكلفك إشارات إلى موقعك في بعض منتجات الذكاء الاصطناعي، حتى لو بقي ترتيبك في البحث كما هو.

بالنسبة لفريق النمو، السؤال الحقيقي ليس «هل يعجبني أن تستخدم شركات الذكاء الاصطناعي محتواي؟» بل «أين يطرح عملائي القادمون أسئلتهم، وهل أريد أن تكون علامتي جزءًا من الإجابة؟». شرحت أهمية ذلك في مقال HubSpot أصبحت تتتبع علامتك داخل إجابات ChatGPT عن تحسين الظهور في محركات الإجابة (AEO).

قاعدة بسيطة للقرار: احمِ ما تبيعه، وافتح ما يبيعك

• امنع التدريب على المحتوى المدفوع: التقارير المدفوعة، والمواد التعليمية، والأبحاث المخصصة للأعضاء، والبيانات الخاصة، وكل ما هو المنتج نفسه.
• اترك مفتوحًا: الصفحة الرئيسية، وصفحات المنتجات والخدمات، وشرح الأسعار، والمدونة، والأسئلة الشائعة، ودراسات الحالة، وصفحات الصحافة. هذه هي الصفحات التي تريد أن تقتبس منها مساعدات الذكاء الاصطناعي.
• اترك الاستناد مسموحًا حيثما تريد أن يُشار إليك. في إعدادات Bing الجديدة، يعني ذلك ترك AI Grounding مفعّلًا حتى لو أوقفت AI Training.
• لا تضف حظرًا واسعًا «للاحتياط». تقول المسودة إن مجموعة الرمز العام (*) لا تُحتسب للإشارة الجديدة أصلًا، كما أن Disallow غير مدروس تحت الرمز العام قد يوقف زحف محركات البحث العادي.

معظم الشركات الناشئة والشركات الصغيرة والمتوسطة في المنطقة تقع في المجموعة الثانية. مدونتك تسويق، وليست منتجًا. إذا سأل مشترٍ في الرياض مساعدًا ذكيًا عن أفضل برنامج رواتب يناسب الشركات السعودية الصغيرة، وكانت صفحة المقارنة لديك ممنوعة من إجابات الذكاء الاصطناعي، فقد سلّمت هذه الإجابة لمنافسك. أما الناشرون وشركات الأبحاث التي يكون محتواها هو المنتج، فحساباتهم مختلفة، والإشارة الجديدة خبر جيد لهم.

ماذا تفعل قبل فبراير 2027؟

• راجع ملف robots.txt الحالي. تحقق هل أضاف أحد حظرًا لـ GPTBot أو Google-Extended أو ClaudeBot أو CCBot، وهل كان ذلك قرارًا مقصودًا.
• قسّم محتواك إلى مجموعتين: صفحات تبيعك، ومحتوى هو المنتج نفسه.
• اتخذ القرار لكل مجموعة ودوّنه، حتى لا تلغيه الوكالة أو المطور التالي دون أن تنتبه.
• إذا كنت تستخدم NoArchive أو NoCache اليوم، فراجع Bing Webmaster Tools بعد 15 ديسمبر 2026 واضبط التفضيلات الجديدة قبل 1 مارس 2027.
• راجع الأمر مجددًا عندما تنشر Google تطبيقها النهائي في 2027، لأن المسودة قد تتغير.

وهذا أيضًا وقت مناسب للتأكد من أن أدوات التحليل لديك ترى الزيارات القادمة من الذكاء الاصطناعي أصلًا. إذا لم تستطع قياسها، فلن تعرف كم يكلفك الرفض. تناولت الأساسيات في مقال أدواتك التسويقية لا تتحدث مع بعضها.

ما الذي لا يزال غير واضح؟

ثلاثة أمور تستحق المتابعة. أولًا، الإشارة موجودة في مسودة فردية وليست معيارًا معتمدًا، ويذكر PPC Land أن بعض الخلافات داخل مجموعة العمل لم تُحسم بعد. ثانيًا، التزمت Google بعام 2027 فقط، وتشير ملاحظتها الخاصة بالزواحف إلى بداية 2027. ثالثًا، المسودة تعرّف تدريب الذكاء الاصطناعي فقط، ولا تتناول البحث أو الجلب الفوري للصفحات، لذلك تبقى أدوات كل شركة هي التي تحدد ظهورك في الإجابات.

أسئلة شائعة

كيف أمنع الذكاء الاصطناعي من التدريب على محتوى موقعي؟

بدءًا من 2027 ستتمكن من إضافة سطر User-Agent باسم `__usage_ai-training` مع قاعدة Disallow في ملف robots.txt، وقد أعلنت Google وMicrosoft وOpenAI أنها ستحترمها. وحتى ذلك الحين استخدم أداة كل شركة، مثل Google-Extended لـ Google وGPTBot لـ OpenAI. وتذكّر أن هذه تفضيلات تتعهد الشركات المشاركة باحترامها، وليست قفلًا تقنيًا.

هل يضر منع تدريب الذكاء الاصطناعي بتحسين محركات البحث (SEO)؟

منع التدريب وحده لا ينبغي أن يغيّر الترتيب التقليدي. تقول Bing إن الترتيب التقليدي لن يتأثر، وGoogle-Extended لا يؤثر على بحث Google. الخطر الحقيقي في الظهور داخل الذكاء الاصطناعي: منع الاستناد في Bing، أو منع Google-Extended في تطبيقات Gemini، قد يعني إشارات أقل إلى موقعك في الإجابات.

هل أمنع GPTBot وGoogle-Extended في ملف robots.txt؟

فقط للمحتوى الذي تبيعه أو تريد إبقاءه حصريًا. أما صفحات التسويق والمدونة وصفحات المنتجات، فإبقاؤها مفتوحة يساعد علامتك عادةً على الظهور عندما يسأل الناس مساعدات الذكاء الاصطناعي عن مجالك.

إذا أردت رأيًا ثانيًا حول ما تفتحه وما تحميه وكيف تقيس ظهورك في الذكاء الاصطناعي، تواصل معي أو اطّلع على كيف يمكنني المساعدة.

المصادر

• Google and Bing back one robots.txt rule to opt out of AI training (PPC Land)
• Supporting a shared AI training control for websites (Google Search Central)
• Machine-Readable Training Preference Signal (IETF Internet-Draft)
• Google to support shared AI training control (Search Engine Roundtable)
• Microsoft Bing AI training and grounding controls (Search Engine Roundtable)
• Google-Extended Bot (Token) Does Not Affect Google Search (Search Engine Roundtable)