إزالة البيانات المكررة هي تقنية تخزين شائعة وشائعة تعمل على تحسين سعة التخزين. فهي تقضي على البيانات المكررة عن طريق إزالة البيانات المكررة من مجموعة البيانات، مع ترك نسخة واحدة فقط. كما هو موضح في الشكل أدناه. يمكن لهذه التقنية أن تقلل بشكل كبير من الحاجة إلى مساحة تخزين مادية لتلبية الطلب المتزايد على تخزين البيانات. يمكن أن تجلب تقنية إزالة البيانات المكررة العديد من الفوائد العملية، بما في ذلك الجوانب التالية بشكل أساسي:
| (1) | تلبية متطلبات العائد على الاستثمار (ROI)/التكلفة الإجمالية للملكية (TCO)؛ |
| (2) | يمكن التحكم في النمو السريع للبيانات بشكل فعال؛ |
| (3) | زيادة مساحة التخزين الفعالة وتحسين كفاءة التخزين؛ |
| (4) | توفير إجمالي تكلفة التخزين وتكلفة الإدارة؛ |
| (5) | حفظ عرض النطاق الترددي للشبكة لنقل البيانات؛ |
| (6) | توفير تكاليف التشغيل والصيانة مثل المساحة وإمدادات الطاقة والتبريد. |
تُستخدم تقنية إزالة النسخ المكررة على نطاق واسع في أنظمة النسخ الاحتياطي والأرشفة للبيانات، نظرًا لوجود كمية كبيرة من البيانات المكررة بعد عمليات النسخ الاحتياطي المتعددة، مما يجعلها مناسبة جدًا لهذه التقنية. في الواقع، يمكن استخدام تقنية إزالة النسخ المكررة في العديد من الحالات، بما في ذلك البيانات المتصلة بالإنترنت، والبيانات شبه المتصلة، وأنظمة تخزين البيانات غير المتصلة. ويمكن تطبيقها في أنظمة الملفات، ومديري وحدات التخزين، وأجهزة التخزين الشبكي (NAS)، وأجهزة التخزين غير المتصلة بالإنترنت (SAN). كما يمكن استخدام تقنية إزالة النسخ المكررة لاستعادة البيانات بعد الكوارث، ونقلها، ومزامنتها، حيث تُستخدم تقنية ضغط البيانات لتعبئتها. تساعد تقنية إزالة النسخ المكررة العديد من التطبيقات على تقليل تخزين البيانات، وتوفير عرض النطاق الترددي للشبكة، وتحسين كفاءة التخزين، وتقليل فترة النسخ الاحتياطي، وتوفير التكاليف.
تتضمن عملية إزالة التكرار بعدين رئيسيين: نسب إزالة التكرار والأداء. يعتمد أداء إزالة التكرار على تقنية التنفيذ المحددة، بينما يتم تحديد معدل إزالة التكرار من خلال خصائص البيانات نفسها وأنماط التطبيق، كما هو موضح في الجدول أدناه. يبلغ بائعو التخزين حاليًا عن معدلات إزالة التكرار تتراوح من 20:1 إلى 500:1.
| معدل إزالة التكرار مرتفع | معدل إزالة التكرار منخفض |
| البيانات التي أنشأها المستخدم | بيانات من العالم الطبيعي |
| معدل تغير البيانات المنخفض | معدل التغير المرتفع للبيانات |
| بيانات مرجعية، بيانات غير نشطة | البيانات النشطة |
| تطبيق معدل تغيير البيانات المنخفض | تطبيق معدل تغيير البيانات المرتفع |
| النسخ الاحتياطي الكامل للبيانات | النسخ الاحتياطي التدريجي للبيانات |
| تخزين البيانات على المدى الطويل | تخزين البيانات على المدى القصير |
| مجموعة واسعة من تطبيقات البيانات | مجموعة صغيرة من تطبيقات البيانات |
| معالجة بيانات الأعمال المستمرة | معالجة البيانات العامة للأعمال |
| تجزئة البيانات الصغيرة | تجزئة البيانات الضخمة |
| إطالة تقسيم البيانات | تجزئة البيانات ذات الطول الثابت |
| محتوى البيانات المدرك | محتوى البيانات غير معروف |
| إزالة تكرار بيانات الوقت | إزالة تكرار البيانات المكانية |
نقاط تنفيذ إزالة التكرار
يجب أخذ عوامل مختلفة في الاعتبار عند تطوير أو تطبيق تقنية Dedupe، حيث تؤثر هذه العوامل بشكل مباشر على أدائها وفعاليتها.
| (1) | ماذا | ما هي البيانات التي تم تخفيض وزنها؟ |
| (2) | متى | متى سيتم التخلص من الوزن الزائد؟ |
| (3) | أين | أين يتم التخلص من الوزن؟ |
| (4) | كيف | كيفية تقليل الوزن؟ |
تقنية إزالة التكرارات الرئيسية
عملية إزالة التكرار لنظام التخزين بشكل عام هي هذه: أولاً وقبل كل شيء يتم تقسيم ملف البيانات إلى مجموعة من البيانات، لكل كتلة من البيانات لحساب بصمة الإصبع، ثم بناءً على كلمات البحث عن بصمة الإصبع، تشير المطابقة إلى البيانات الخاصة بكتل البيانات المكررة، وتخزن رقم فهرس كتلة البيانات فقط، وإلا فهذا يعني أن كتلة البيانات هي القطعة الوحيدة من كتلة بيانات جديدة وتخزينها وإنشاء معلومات التعريف ذات الصلة. وبالتالي، يتوافق الملف المادي في نظام التخزين مع التمثيل المنطقي لمجموعة من بيانات التعريف FP. عند قراءة الملف، اقرأ أولاً الملف المنطقي، ثم وفقًا لتسلسل FP، أخرج كتلة البيانات المقابلة من نظام التخزين، واستعد نسخة الملف المادي. يمكن ملاحظة من العملية المذكورة أعلاه أن التقنيات الرئيسية لـ Dedupe تشمل بشكل أساسي تجزئة كتلة بيانات الملف وحساب بصمة كتلة البيانات واسترجاع كتلة البيانات.
(1) تقسيم كتلة بيانات الملف
(2) حساب بصمة كتلة البيانات
(3) استرجاع كتلة البيانات
للعثور على هذه النماذج الموصى بها لبدء إزالة التكرارات من حزم الشبكة:
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-640048*10GE SFP+ بالإضافة إلى 4*40GE/100GE QSFP28، بحد أقصى 880 جيجابت في الثانية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-56606*40GE/100GE QSFP28 بالإضافة إلى 48*10GE/25GE SFP28، بحد أقصى 1.8 تيرابايت في الثانية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-506048*10GE SFP+ بالإضافة إلى 2*40GE QSFP، بحد أقصى 560 جيجابت في الثانية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-486048*10GE SFP+، الحد الأقصى 480 جيجابت في الثانية، وظيفة إضافية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-481048*10GE SFP+، الحد الأقصى 480 جيجابت في الثانية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-2410P24*10GE SFP+، الحد الأقصى 240 جيجابت في الثانية، وظيفة DPI
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-6400
48*10GE SFP+ بالإضافة إلى 4*40GE/100GE QSFP28، بحد أقصى 880 جيجابت في الثانية
وقت النشر: ١٨ أكتوبر ٢٠٢٢
