كيفية نسخ موقع ويب كامل إلى جهاز الكمبيوتر الخاص بك باستخدام wget

يعد تنزيل موقع ويب بالكامل مفيدًا إذا كنت تريد الحصول على نسخة خاصة بك من النصوص والصور والمحتوى الآخر الموجود عليه، فقط في حالة قيام المؤلف بحذفها أو إغلاق موقع الويب. ومع ذلك، لا تتضمن متصفحات الويب هذه الوظيفة بشكل افتراضي. إليك كيفية تنزيل موقع ويب بالكامل باستخدام أداة wget.

قبل أن تبدأ

قبل أن تبدأ، تأكد من أن لديك مساحة كافية على القرص لحفظ الموقع الذي تريد تنزيله. تحتوي بعض المواقع على كثير من الصفحات و كثير من الممكن أن تتراكم محتوياتك بسرعة، لذا ضع في اعتبارك ما ستقوم بتنزيله حتى لا تنفد مساحة التخزين لديك. إذا كنت تستخدم جهاز كمبيوتر محمولاً، فتأكد من توصيله بمأخذ طاقة، حيث إن تنزيل آلاف الملفات قد يستغرق بعض الوقت.

إذا كنت تستخدم نظام Windows، فستحتاج إلى تثبيت نظام Windows الفرعي لنظام Linux (WSL) لتتمكن من الوصول إلى wget.

بالإضافة إلى ذلك، عليك أن تدرك أن العديد من المواقع الإلكترونية الحديثة يتم إنشاؤها ديناميكيًا، أي أنها تعالج البيانات على خوادمها لإنشاء صفحات تتغير عند إضافة محتوى جديد، أو عند تحديث الصفحة. يؤدي تنزيل موقع إلكتروني أو صفحة إلى إنشاء لقطة منه في تلك اللحظة، لذا ستحتاج إلى إعادة تنزيل الموقع الإلكتروني إذا كنت تريد نسخة محدثة.

كيفية نسخ موقع ويب بأكمله محليًا باستخدام Wget

Wget هي أداة سطر أوامر لتنزيل البيانات من الويب. يتم تثبيتها افتراضيًا على Ubuntu (وهذا يعني أيضًا WSL) وFedora. إذا كنت تستخدم توزيعًا قائمًا على Arch، فستحتاج إلى قم بتثبيتهإذا كنت تستخدم نظام التشغيل macOS، فإن wget متاح من خلال منافذ ماك.

إذا كنت تستخدم Linux أو MacOS، فستحتاج إلى فتح نافذة Terminal. إذا كنت تستخدم Windows باستخدام WSL، فقم بتشغيل أي توزيع Linux ترغب في استخدامه.

يمكنك التأكد من تثبيت wget عن طريق تشغيل:

wget --help

إذا كان الأمر wget متاحًا على نظامك، فسوف يقوم الأمر بإرجاع معلومات حول الأمر wget.

الآن، أنت جاهز لبدء التنزيل. هذا هو الأمر لتنزيل موقع ويب كامل:

wget -mpEk 

سيحاول هذا الأمر الاستيلاء على كل ما يمكنه الحصول عليه من موقع الويب على قم بمسح جميع الروابط الموجودة في الصفحة الأولى، ثم قم بتنزيل تلك الصفحات المرتبطة وكل شيء عليها، ثم استمر عبر الصفحات المرتبطة بتلك الصفحات.

فيما يلي ما يعنيه كل من علامات الأوامر (الحروف التي تأتي بعد الشرطة في أمر wget أعلاه):

• -م يتيح العديد من الخيارات التي تقوم بتكوين wget لعكس موقع الويب، بما في ذلك التحقق من الطابع الزمني وعمق التكرار اللانهائي
• -ص يخبر wget بالحصول على جميع متطلبات الصفحة، مثل الصور والوسائط وأوراق الأنماط وملفات JavaScript
• -هـ ضبط امتدادات الملفات التي تم تنزيلها لتتوافق مع تلك الموجودة على الخادم
• -ك يحول الروابط الموجودة في الصفحات المحفوظة إلى نسخ محلية لديك، بحيث يمكن التنقل في موقعك غير المتصل بالإنترنت بالكامل دون الحاجة إلى اتصال بالإنترنت

ستعرف أن عملية تنزيل موقع الويب تتم بنجاح عندما ترى إخراجًا يشبه ما يلي:

$ wget -mpEk https:
--2024-04-05 10:00:00-- https:
Resolving example.com (example.com)... 93.184.216.34
Connecting to example.com (example.com)|93.184.216.34|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified (text/html)
Saving to: ‘example.com/index.html’
example.com/index.html ( <=> ) 1.07K --.-KB/s in 0s
2024-04-05 10:00:01 (68.7 MB/s) - ‘example.com/index.html’ saved (1096) 

لاحظ أنه على الرغم من أن هذا التنزيل متكرر، إلا أنه سيتم تنزيل الروابط من موقع الويب المحدد فقط. ستظل الصفحات الموجودة على مواقع الويب الأخرى متاحة عبر الإنترنت وتتطلب اتصالاً بالإنترنت لعرضها.

يمكنك رؤية قائمة كاملة بجميع علامات أوامر wget وما تفعله في دليل مستخدم wget.

تذكر أن هذا قد يستغرق بعض الوقت ولا توجد طريقة حقيقية لتقدير المدة التي يستغرقها تنزيل مواقع الويب الكبيرة، لذا فإن الأمر يستحق التحقق من التقدم من حين لآخر للتأكد من أن الأمور لا تزال تتقدم.

ماذا عن تنزيل صفحة واحدة فقط؟

إذا كنت تريد تنزيل صفحة ويب واحدة، فيمكن لمتصفح الويب الخاص بك القيام بذلك في عملية أسهل بكثير: ما عليك سوى الانتقال إلى قائمة “ملف” ثم النقر فوق الزر “حفظ” (قد تكون صياغة النص مختلفة بعض الشيء بالنسبة لمتصفحك، ففي Firefox تكون “حفظ الصفحة باسم…”).

إذا كنت تريد استخدام wget لتنزيل صفحة واحدة، قم بتشغيل الأمر التالي:

wget -pk 

يؤدي هذا إلى حذف الخيارات التي تطلب من wget تنزيل الصفحات بشكل متكرر، وضبط الامتدادات والروابط.

تنزيل مواقع الويب للوصول إليها دون الاتصال بالإنترنت

يعد تنزيل موقع كامل مفيدًا في العديد من المواقف، بما في ذلك:

• عمل نسخة احتياطية لمدونتك في حالة توقف خدمة استضافة الويب لديك
• أرشفة صفحات الويب لأغراض تاريخية (مثل حفظ موقع ويب لأفراد العائلة لمشروع تاريخ عائلتك)
• حفظ صفحات الويب وكل ما عليها للقراءة أثناء الإجازة (ليس كل مكان لديه إنترنت جيد حتى الآن!)

كيف يمكنك الوصول إلى الموقع الذي قمت بتنزيله؟

سيتم حفظ الموقع الذي تقوم بتنزيله باستخدام wget كملف HTML على جهاز الكمبيوتر الخاص بك. إذا كنت تستخدم WSL، فستحتاج إلى الوصول إلى ملفات WSL الخاصة بك من خلال مستكشف الملفات.

في مثالنا، كان الملف موجودًا في “\\wsl.localhost\Ubuntu-22.04\home\example” لأننا استخدمنا Ubuntu 22.04 واسم المستخدم الخاص بنا في Linux هو “example”. سيحفظ Wget المجلدات في أي دليل نشط لديك في Terminal عند تشغيل الأمر، ما لم تحدد مسارًا آخر يدويًا.

يمكن فتح ملفات HTML بواسطة أي متصفح، على الرغم من وجود برامج أخرى يمكنها القيام بذلك أيضًا، إذا كنت تفضل أحدها.

أدوات أخرى لتنزيل محتوى الويب للاستخدام دون اتصال بالإنترنت

على الرغم من أن wget هي إحدى الطرق الأكثر شيوعًا لتنزيل محتوى الويب، إلا أن هناك طرقًا أخرى يمكنك استخدامها إذا كانت لديك متطلبات مختلفة، أو لا تريد التعامل مع سطر الأوامر.

• cURL هي أداة سطر أوامر مجانية أخرى يمكن استخدامها لتنزيل مواقع ويب كاملة
• HTTrack هي أداة Windows توفر واجهة رسومية لتنزيل المواقع بالكامل، إذا لم تكن مرتاحًا لاستخدام سطر الأوامر
• نسخة ويب سايوتك يوفر أيضًا واجهة مستخدم رسومية لتنزيل مواقع الويب بالكامل، ويتضمن الكثير من الخيارات القابلة للتكوين بالإضافة إلى القواعد لاستبعاد المحتوى من التنزيل
• خشن و شوربة جميلة هي مكتبات بايثون يمكنها تنزيل المواقع بالكامل، ولكنها مخصصة لمطوري بايثون
• موقع سايت سوكر يوفر واجهة رسومية سهلة الاستخدام لتنزيل مواقع الويب لنظام التشغيل MacOS، وهو متاح في App Store
• سجل قصاصات الويب هو ملحق لمتصفح فايرفوكس أو كروم يمكنه أرشفة المواقع بأكملها للقراءة لاحقًا، كما يتيح لك أيضًا التعليق على الصفحات وتحريرها
• المستكشف غير المتصل بالإنترنت إنه قوي، وقد يكون قادرًا على تنزيل محتوى موقع الويب حيث تكافح الأدوات الأخرى، ولكنه باهظ الثمن

أياً كان السبب الذي دفعك إلى الرغبة في نسخ موقع ويب كامل إلى جهاز الكمبيوتر الخاص بك، فأنت الآن تعرف كيفية القيام بذلك! إذا كنت تخطط لقراءة بعض الكتب دون الاتصال بالإنترنت، فإن جهاز قراءة الكتب الإلكترونية الجيد هو أمر لا بد منه.