السيو التقني: كيف يزحف محرّك البحث موقعك ويفهرسه

في المقال السابق بنيتَ الثقة بمحتواك وبمن وراءه. لكنّ هذه الثقة كلّها لا تنفعك إن عجز محرّك البحث أن يصل إلى صفحتك أصلًا، أو أن يقرأها، أو أن يضعها في فهرسه. هنا يبدأ السيو التقني: لا يصنع المحتوى ولا الثقة، بل يفتح لهما الباب إلى المحرّك. هو الأساس الذي إن تصدّع لم ينفع ما فوقه، كناطحة سحابٍ على رمل.

سأشرح في هذا المقال مسار صفحتك من الزحف إلى الفهرسة إلى العرض، ثمّ العناصر التقنية التي تتحكّم بها: الفرق الحاسم بين robots.txt وnoindex، والوسم الأساسي والمحتوى المكرر، وإعادة التوجيه ورموز الحالة، والجوال أوّلًا، وHTTPS، والسيو الدولي، وميزانية الزحف. وأربعةٌ من هذه المحطّات لها مقالاتها المستقلّة في السلسلة، فسأمرّ عليها مرورًا وأحيل إليها. وسأختم بما تغيّر في 2026 ممّا ما زالت مواقع كثيرة تكرّره خطأً.

ما السيو التقني، ولماذا هو الأساس

السيو التقني هو كلّ ما يجعل موقعك قابلًا لأن يزحف فيه المحرّك ويفهرسه ويفهمه، بمعزلٍ عن جودة الكلمات نفسها. لو شبّهتَ موقعك بكتابٍ في مكتبة، فالمحتوى هو نصّ الكتاب، والسيو التقني هو جودة الطباعة والفهرس والتجليد وموضع الكتاب على الرفّ. كتابٌ ممتاز النصّ لكنّه ممزّق الصفحات، غير مفهرس، مخبّأ في قبو المكتبة، لن يقرأه أحد. لهذا يكون الأساس التقنيّ هو البداية: لا لأنّه أهمّ من المحتوى، بل لأنّه شرطٌ لظهوره.

ولأولويّته أربعة أسباب. أوّلها أنّ عائقًا تقنيًّا واحدًا قد يحجب موقعك كلّه، فخطأٌ في سطرٍ من robots.txt قد يمنع جوجل من موقعك بأكمله. وثانيها أنّ إصلاحه يُجرى غالبًا مرّةً فيفيد كلّ الصفحات، بخلاف المحتوى الذي يُكتب صفحةً صفحة. وثالثها أنّه شرطُ ظهور المحتوى الجيّد أصلًا؛ وصبُّ الماء في دلوٍ مثقوبٍ لا يملؤه. ورابعها أنّه أساسٌ إن بنيتَه صحيحًا مرّةً استرحتَ منه طويلًا، وإن أهملتَه نقض ما فوقه مهما أتقنتَه.

المسار: زحفٌ، ففهرسةٌ، فعرض

يمرّ ظهورك في جوجل بثلاث مراحل، شرحتُ آليّتها في مقال «كيف تعمل محركات البحث»، وأذكّر بها هنا لأنّها الإطار الذي ينتظم فيه كلّ ما يأتي. أوّلها الزحف (Crawling): يرسل جوجل زاحفه (Googlebot) ليكتشف صفحاتك ويجلبها، ويكتشفها بتتبّع الروابط من صفحةٍ إلى أخرى وبقراءة خريطة الموقع التي تقدّمها له. وثانيها الفهرسة (Indexing): يحلّل المحرّك الصفحة ويخزّنها في فهرسه الضخم. وثالثها العرض (Serving): حين يبحث أحدٌ، يختار جوجل من فهرسه أنسب الصفحات ويرتّبها.

وكلّ عمل السيو التقني ينصبّ على أوّل مرحلتين: أن يصل الزاحف بلا عائق، وأن يفهرس الصفحة الصحيحة. عائقٌ في الزحف يعني أنّ صفحتك لا تُكتشَف، وخطأٌ في الفهرسة يعني أنّ جوجل يخزّن النسخة الخطأ أو لا يخزّنها. وأداتان أساسيّتان تحكمان الزحف: ملف robots.txt وخريطة الموقع (Sitemap)، ولكلٍّ منهما مقالٌ مستقلّ في هذه السلسلة، فسأكتفي هنا بموضعهما من الصورة.

robots.txt مقابل noindex: الخلط الأخطر

هذا القسم وحده يستحقّ المقال، لأنّ الخلط فيه يكلّف مواقع كثيرة ظهورها. ملف robots.txt يتحكّم في الزحف، لا في الفهرسة. حين تمنع صفحةً فيه بتوجيه Disallow، أنت تقول للزاحف «لا تدخل هذه الصفحة»، لكنّك لا تقول «لا تفهرسها». والنتيجة المفاجئة: إن كانت هناك روابط تشير إلى تلك الصفحة، فقد يفهرسها جوجل رغم المنع، فتظهر في النتائج عنوانًا بلا وصف، وتراها في Search Console بحالة «مفهرسة رغم الحجب بملف robots.txt».^[1]

فإن أردتَ فعلًا ألّا تظهر صفحةٌ في النتائج، فالأداة الصحيحة هي توجيه noindex (وسمٌ في رأس الصفحة أو ترويسة X-Robots-Tag). وهنا مربط الفرس: حتى يرى جوجل هذا التوجيه، يجب أن يُسمَح له بزحف الصفحة. فإن منعتَها في robots.txt ووضعتَ فيها noindex معًا، لن يدخلها الزاحف أصلًا، ولن يرى التوجيه، وقد تبقى مفهرسة.^[2] القاعدة إذن: للحجب عن الزحف استعمل robots.txt، وللحجب عن الفهرسة استعمل noindex ولا تمنع زحفها. تفصيل صياغة robots.txt في مقاله المستقلّ.

الوسم الأساسي والمحتوى المكرر

قد تصل الصفحة نفسها من عناوين شتّى: http وhttps، وبـwww وبدونها، وبـ/index.html وبدونه، وبمعاملات تتبّعٍ في آخر الرابط. فصفحتك الرئيسة وحدها قد يصل إليها جوجل بأربع صورٍ من العنوان (http وhttps، وبـwww وبدونها، وبـ/index.html وبدونه)، وكلّها المحتوى نفسه. يرى جوجل هذه نسخًا مكرّرة، فيحتار أيّها يفهرس، وتتوزّع قوّة روابطك بينها بدل أن تتجمّع في واحدة. الحلّ الوسم الأساسي (rel=”canonical”): تعلن به عن النسخة التي تريدها أصلًا، فيجمع جوجل إشاراتها كلّها فيها.

لكن انتبه: الوسم الأساسي تلميحٌ لا أمر. قد يختار جوجل عنوانًا أساسيًّا مختلفًا عمّا حدّدتَ إن رأت إشاراته الأخرى (نحو أربعين إشارة) تقول غير ذلك.^[3] فاجعل توصيتك متّسقة: أفضل ممارسةٍ أن تضع في كلّ صفحةٍ وسمًا أساسيًّا يشير إلى نفسها (self-referencing)، وأن توجّه النسخ المكرّرة إلى الأصل. بهذا تعطي المحرّك إشارةً واضحةً لا تناقض فيها.

بنية الموقع وعمق الزحف

الطريقة التي ترتّب بها صفحاتك تؤثّر في زحفها. كلّما بَعُدت الصفحة عن الرئيسة (أي احتاج الوصول إليها نقراتٍ كثيرة)، قلّ اكتشاف المحرّك لها وتردّده عليها. القاعدة العملية: اجعل أهمّ صفحاتك على بُعد ثلاث نقراتٍ أو أقلّ من الرئيسة، واربطها من صفحاتٍ أخرى ذات صلة. أمّا الصفحة اليتيمة التي لا يشير إليها رابطٌ داخليّ، فقد لا يكتشفها المحرّك أصلًا مهما كانت جيّدة. بنيةٌ مسطّحةٌ مترابطة تُزحَف أسهل من بنيةٍ عميقةٍ معزولة، وقد فصّلت الربط الداخليّ في مقال «استراتيجية المحتوى».

التنقّل بالتصفية وفخاخ الزحف

إن كان موقعك متجرًا أو أرشيفًا كبيرًا فيه مرشّحاتٌ للتصفية والفرز (اللون، السعر، الترتيب)، فانتبه لفخٍّ صامت: كلّ تركيبةٍ من المرشّحات تولّد رابطًا جديدًا، فتنشأ آلاف الروابط شبه المكرّرة من صفحاتٍ قليلة. هذه «فخاخ الزحف» (Crawl Traps) تهدر ميزانية الزحف على نسخٍ لا قيمة لها، وتشتّت إشاراتك بين عناوين متطابقة المحتوى تقريبًا.^[14]

والعلاج بأدواتٍ عرفتها في هذا المقال: وسمٌ أساسيّ يوجّه النسخ المصفّاة إلى صفحتها الأمّ، ومنعُ ما لا قيمة لفهرسته، وضبطُ الربط الداخليّ ألّا يقود إلى تركيباتٍ لا نهائية. ولمّا أزالت جوجل أداة «معاملات الرابط» من Search Console سنة 2022، صارت هذه الأدوات الثلاث هي ما تعوّل عليه.^[14]

إعادة التوجيه ورموز الحالة

حين تنقل صفحةً أو تحذفها، تخبر المتصفّح والمحرّك بما جرى عبر إعادة التوجيه ورمز الحالة. أهمّ تمييزٍ هنا بين نوعين: إعادة التوجيه 301 دائمة، تقول «انتقلت هذه الصفحة إلى هنا للأبد»، فينقل جوجل قوّتها وترتيبها إلى الوجهة الجديدة ويستبدل بها القديمة في فهرسه. و302 مؤقّتة، تقول «غبتُ قليلًا وسأعود»، فيُبقي جوجل العنوان الأصليّ. فمن نقل موقعه نقلًا دائمًا واستعمل 302 بالخطأ أضاع قوّة صفحاته.^[4]

واحذر سلاسل إعادة التوجيه: صفحةٌ توجّه إلى ثانية توجّه إلى ثالثة. يتبع الزاحف عددًا محدودًا من القفزات، وكلّ حلقةٍ تهدر ميزانية الزحف وتبطئ الصفحة. وجّه دائمًا إلى الوجهة النهائية مباشرةً. أمّا رموز الحالة فأهمّها في السيو: 200 (سليمة وقابلة للفهرسة)، و404 (غير موجودة)، و301 (انتقلت دائمًا). ومن أخبث الأخطاء «الخطأ 404 الزائف» (Soft 404): صفحةٌ تقول للزائر «غير موجودة» لكنّها ترجع للمحرّك رمز 200، فيظنّها جوجل صفحةً سليمة فارغة. الصواب أن ترجع الصفحة المفقودة رمز 404 أو 410 صريحًا.^[5] أمّا أخطاء الخادم (رموز 5xx مثل 500 و503) فتنذر بعطبٍ في موقعك؛ إن دامت أبطأ جوجل زحفه وقد يُسقط صفحاتك، والرمز الصحيح لتوقّفٍ مؤقّتٍ مخطّطٍ له هو 503 لا 404.^[5]

الجوال أوّلًا

لم يعد الأمر خيارًا. أتمّ جوجل تحوّله إلى «الفهرسة المعتمدة على الجوال أوّلًا» (Mobile-First Indexing) لكامل الويب سنة 2024، فصار يزحف موقعك ويفهرسه بزاحف الجوال لا سطح المكتب.^[6] النتيجة العملية الحاسمة: ما لا تراه نسخة الجوال من موقعك، يكاد جوجل لا يراه. فاحرص على تكافؤ المحتوى بين الجوال وسطح المكتب: النصّ نفسه، والبيانات المنظّمة نفسها، والوسوم نفسها. الموقع المتجاوب الذي يعرض المحتوى كاملًا على الجوال في مأمنٍ من هذا الفخّ. ولا بأس أن تطوي محتواك خلف تبويباتٍ أو قائمةٍ منسدلة على الجوال ما دام موجودًا في الصفحة؛ الخطأ أن يكون محتوًى أساسيّ في نسخة سطح المكتب وحدها، فذلك ما يضيع من عين المحرّك.

HTTPS: الظرف المختوم

الفرق بين HTTP وHTTPS كالفرق بين بطاقةٍ بريدية يقرؤها كلّ من يمرّ بها، وظرفٍ مختومٍ لا يفتحه إلا صاحبه. يشفّر HTTPS ما يمرّ بين المتصفّح والخادم، فيحمي بيانات زائرك. وهو إشارة ترتيبٍ مؤكّدة منذ 2014، لكنّها خفيفة بإقرار جوجل نفسها (تمسّ أقلّ من 1% من عمليات البحث، وتغلبها جودة المحتوى).^[7] فلا تعتمده وحده رافعةً للترتيب، بل اعتمده لأنّه صار معيار أمانٍ أساسيًّا، وتُعلِّم المتصفّحات موقعك «غير آمن» إن خلا منه. اليوم شهادات SSL مجّانية ومتاحة، فلا عذر في تركه.

السيو الدولي: وسم hreflang

إن كان لموقعك نسخٌ بلغاتٍ أو لبلدانٍ مختلفة، فوسم hreflang يخبر جوجل أيّ نسخةٍ يعرض لأيّ مستخدم، فلا يعرض الإنجليزية لعربيّ ولا نسخة الإمارات لسعوديّ. مثاله البسيط:

<link rel="alternate" hreflang="ar-sa" href="https://example.com/sa/" />
<link rel="alternate" hreflang="ar-ae" href="https://example.com/ae/" />
<link rel="alternate" hreflang="en-gb" href="https://example.com/uk/" />
<link rel="alternate" hreflang="x-default" href="https://example.com/" />

وله ثلاث قواعد يخطئ فيها كثيرون. الأولى: روابط الإرجاع المتبادلة؛ كلّ نسخةٍ يجب أن تشير إلى كلّ النسخ الأخرى وإلى نفسها، وإلا أهمل جوجل الوسم. والثانية: النسخة الافتراضية x-default لمن لا تطابقه أيّ نسخة. والثالثة: صحّة الرموز؛ رمز لغةٍ من معيار ISO 639-1 ورمز بلدٍ من ISO 3166-1، فتكتب en-gb لا en-uk. وخطأٌ قاتل: ألّا توجّه نسخةً مترجمة بوسمٍ أساسيّ إلى نسخةٍ بلغةٍ أخرى، فذلك يمحوها من الفهرس.^[8]

التصيير وميزانية الزحف

يعتمد كثيرٌ من المواقع اليوم على جافاسكربت لبناء صفحاته. وجوجل يصيّر (render) جافاسكربت ويرى ما ينتجه، لكن بتكلفةٍ وتأخير، وبشرط ألّا تمنع ملفّاته في robots.txt. والمهمّ: إن كان محتواك الأساسيّ لا يظهر إلا بعد تشغيل جافاسكربت، فتأكّد أنّ جوجل يستطيع تصييره، وإلا فقد يفهرس صفحةً فارغة.^[5] والحلّ لمواقع جافاسكربت الثقيلة أن تصيّر المحتوى على الخادم (SSR) أو تولّده مسبقًا (Prerendering) فيصل إلى المحرّك جاهزًا في أوّل استجابة. وافحص «الشيفرة المصدرية» الخام مقابل «الشيفرة المصيَّرة»: إن لم يظهر محتواك في مصدر الصفحة الخام، فأنت تعتمد على التصيير، وعليك أن تتحقّق أنّ جوجل يتمّه.

أمّا «ميزانية الزحف» (Crawl Budget) فكثيرًا ما يُبالَغ في ترويعك بها. الحقيقة كما تقول جوجل: إن كانت صفحاتك تُزحَف يوم نشرها، فأنت لا تحتاج القلق بشأنها أصلًا. لا تصير الميزانية همًّا إلا للمواقع الضخمة جدًّا (فوق مليون صفحةٍ تتغيّر أسبوعيًّا، أو أكثر من عشرة آلاف صفحةٍ تتغيّر يوميًّا).^[9] فإن كان موقعك مدوّنةً أو موقع أعمالٍ صغيرًا، اصرف قلقك إلى المحتوى، لا إلى الميزانية.

كيف تكشف المشكلات: أدوات التدقيق

لا يُدار ما لا يُقاس. أوّل أدواتك وأصدقها Google Search Console، وهي عين جوجل على موقعك: تريك أيّ الصفحات فُهرست وأيّها لا ولماذا، وإحصاءات الزحف، وأداة فحص العنوان التي تكشف كيف يرى جوجل صفحتك وأيّ عنوانٍ أساسيّ اختاره. ولها مقالٌ مستقلّ في السلسلة أفصّلها فيه.

لكنّ Search Console تريك عيّناتٍ ومشكلاتٍ يرصدها جوجل، لا فحصًا شاملًا لموقعك كلّه صفحةً صفحة. لهذا تحتاج زاحفًا يمشي في موقعك كما يمشي المحرّك، فيجمع مشكلاته دفعةً واحدة. من الأدوات المعروفة لهذا Screaming Frog (وله مقالٌ مستقلّ لاحقًا). وقد بنيتُ بنفسي أداةً لهذا الغرض اسمها Crawlix،^[10] تعمل محليًّا على جهازك (ويندوز ولينكس) دون أن تُرفَع بيانات موقعك إلى خادمٍ خارجيّ، وتُجري أكثر من مئة فحصٍ تقنيّ ومحتوًى وأداء، وتعطيك «درجة صحّةٍ» للموقع مع ترتيب المشكلات بالأولوية لتبدأ بالأهمّ، وتفحص كذلك مدى ظهور موقعك لزواحف الذكاء الاصطناعيّ. أذكرها هنا لأنّها ثمرة معالجتي هذه المشكلات نفسها بيدي، فاختر منها ومن غيرها ما يناسبك.

جرّبه بنفسك

افتح Google Search Console لموقعك واذهب إلى تقرير فهرسة الصفحات. انظر كم صفحةً مفهرسة وكم غير مفهرسة، واقرأ أسباب عدم الفهرسة. ثمّ خذ صفحةً مهمّة وافحصها بأداة «فحص العنوان»: أهي مفهرسة؟ وأيّ عنوانٍ أساسيّ اختاره جوجل لها، أهو ما تريد؟ في دقائق ستعرف إن كان هناك عائقٌ تقنيّ يمنع أهمّ صفحاتك من الظهور.

وإليك قائمةً سريعة تمرّ بها على أيّ موقع:

• أصفحاتك المهمّة مفهرسةٌ فعلًا؟ (تحقّق في Search Console)
• أموقعك على HTTPS كاملًا بلا محتوًى مختلط؟
• أتعرض نسخة الجوال المحتوى كاملًا كنسخة سطح المكتب؟
• أنسخك المكرّرة موجّهةٌ بوسمٍ أساسيّ صحيح؟
• أإعادة توجيهك دائمةٌ (301) ومباشرةٌ بلا سلاسل؟
• أصفحاتك المفقودة ترجع 404 صريحًا لا 404 زائفًا؟

محطّاتٌ لها مقالاتها

أربعٌ من ركائز السيو التقني تستحقّ كلٌّ منها مقالًا مستقلًّا، فأكتفي هنا بموضعها من هذا الأساس وأحيلك إلى تفصيلها: ملف robots.txt (كيف توجّه الزواحف بدقّة)، وخريطة الموقع (كيف تقدّم للمحرّك قائمة صفحاتك)، ومؤشرات أداء الويب الأساسية (سرعة الصفحة وثباتها: LCP وINP وCLS)، والبيانات المنظّمة (كيف تصف محتواك للمحرّك بلغةٍ يفهمها). خذها في مواضعها من هذه السلسلة، فكلٌّ منها فرعٌ من الأساس الذي رسمته هنا.

ما تغيّر في 2026: خرافاتٌ يجب دفنها

السيو التقني ميدانٌ يتغيّر، وكثيرٌ من المحتوى العربيّ (وبعض النسخة القديمة من هذا المقال) ما زال يكرّر ما بطل. أصحّح أبرزها:

• «robots.txt يزيل الصفحة من الفهرس»: لا؛ يمنع الزحف لا الفهرسة، والصفحة الممنوعة قد تُفهرَس إن رُبط إليها. للإزالة استعمل noindex.^[1]
• «بيانات الأسئلة الشائعة (FAQ) وطريقة العمل (HowTo) تعطيك نتائج غنيّة»: لم تعد. أزالت جوجل نتائج HowTo سنة 2023، وأوقفت ظهور نتائج FAQ الغنيّة في البحث في مايو 2026. الوسم يبقى صحيحًا لكنّه لم يعد يُظهر تلك الميزة.^[11][15]
• «افحص تقرير ملاءمة الجوال في Search Console»: أُزيل هذا التقرير وأداة اختبار ملاءمة الجوال في ديسمبر 2023. افحص الجوال اليوم عبر Lighthouse أو أدوات مطوّري كروم.^[12]
• «INP مقياسٌ جديد تجريبيّ»: لم يعد جديدًا؛ حلّ محلّ FID رسميًّا في مارس 2024، وصار المقياس المعياريّ للتجاوب ضمن مؤشرات أداء الويب.^[13]
• «الوسم الأساسي أمرٌ مُلزِم لجوجل»: بل تلميح؛ قد يختار جوجل عنوانًا أساسيًّا غيره.^[3]
• «زحفٌ أكثر يعني ترتيبًا أعلى»: لا علاقة مباشرة؛ ميزانية الزحف مسألة اكتشافٍ لا رافعة ترتيب، وأكثر المواقع لا تحتاج القلق بها.^[9]

من الأساس إلى أوّل بابٍ فيه

رسمتَ الآن معالم الأساس التقنيّ: كيف يزحف المحرّك ويفهرس، وكيف تتحكّم بالفهرسة والتكرار والتوجيه والجوال والأمان واللغات. أوّل بابٍ في هذا الأساس، وأكثره خطأً حين يُساء ضبطه، هو الملفّ الصغير الذي يخاطب الزواحف مباشرةً. ذلك موضوع المقال التالي: «ملف robots.txt»، حيث تنتقل من الإطار العامّ للسيو التقني إلى أوّل أداةٍ عمليّة فيه. ابدأ اليوم بفتح Search Console وفحص فهرسة صفحاتك، فمن هناك يبدأ كلّ إصلاحٍ تقنيّ.

المصادر

1. Google Search Central: Introduction to robots.txt. أنّ الملف يتحكّم في الزحف لا الفهرسة، وأنّ الصفحة الممنوعة قد تُفهرَس إن رُبط إليها.
2. Google Search Central: Block Search indexing with noindex. أنّ noindex هو أداة منع الفهرسة، وأنّ الصفحة يجب أن تكون قابلةً للزحف حتى يراه جوجل.
3. Google Search Central: Canonicalization. أنّ الوسم الأساسي تلميحٌ لا أمر، وأنّ جوجل قد يختار عنوانًا أساسيًّا مختلفًا.
4. Google Search Central: Redirects and Google Search. الفرق بين 301 و302 ونقل الإشارات وسلاسل التوجيه.
5. Google Search Central: How HTTP status codes affect Google Search. رموز الحالة، والخطأ 404 الزائف، وتصيير جافاسكربت.
6. Google Search Central Blog: Mobile-first indexing has landed. اكتمال التحوّل إلى الفهرسة المعتمدة على الجوال أوّلًا.
7. Google Search Central Blog: HTTPS as a ranking signal. أنّ HTTPS إشارة ترتيبٍ خفيفة تمسّ أقلّ من 1% من عمليات البحث.
8. Google Search Central: Localized versions of your pages (hreflang). روابط الإرجاع، وx-default، ورموز اللغة والبلد، وأخطاء الوسم الأساسي.
9. Google Search Central: Managing crawl budget for large sites. أنّ أكثر المواقع لا تحتاج القلق بالميزانية، وحدودها للمواقع الضخمة.
10. Crawlix. أداة زحفٍ مكتبيّة تعمل محليًّا لتدقيق المواقع تقنيًّا (من تطويري).
11. Google Search Central Blog: Changes to HowTo and FAQ rich results. إزالة نتائج HowTo وتقييد FAQ (ثمّ إيقاف ظهورها في البحث في مايو 2026).
12. Search Engine Land: Google drops the Mobile Usability report. إزالة تقرير ملاءمة الجوال وأداته في ديسمبر 2023.
13. web.dev: INP becomes a Core Web Vital. حلول INP محلّ FID رسميًّا في مارس 2024.
14. Google Search Central: Faceted navigation best practices. فخاخ الزحف الناشئة عن التصفية، ومعالجتها بالوسم الأساسي والمنع والربط الداخليّ.
15. Search Engine Land: Google to no longer support FAQ rich results. إيقاف ظهور نتائج FAQ الغنيّة في البحث في مايو 2026.