تُعدّ تقنية إزالة البيانات المكررة تقنية تخزين شائعة وفعّالة تُحسّن من سعة التخزين. فهي تُزيل البيانات الزائدة عن طريق حذف البيانات المكررة من مجموعة البيانات، تاركةً نسخة واحدة فقط، كما هو موضح في الشكل أدناه. تُقلّل هذه التقنية بشكل كبير من الحاجة إلى مساحة تخزين فعلية لتلبية الطلب المتزايد على تخزين البيانات. تُوفّر تقنية إزالة البيانات المكررة العديد من الفوائد العملية، وأهمها ما يلي:
| (1) | تلبية متطلبات العائد على الاستثمار / التكلفة الإجمالية للملكية؛ |
| (2) | يمكن التحكم بفعالية في النمو السريع للبيانات؛ |
| (3) | زيادة مساحة التخزين الفعالة وتحسين كفاءة التخزين؛ |
| (4) | وفر إجمالي تكلفة التخزين وتكلفة الإدارة؛ |
| (5) | توفير عرض النطاق الترددي للشبكة لنقل البيانات؛ |
| (6) | توفير تكاليف التشغيل والصيانة مثل المساحة وإمدادات الطاقة والتبريد. |
تُستخدم تقنية إزالة البيانات المكررة على نطاق واسع في أنظمة النسخ الاحتياطي وأرشفة البيانات، نظرًا لوجود كمية كبيرة من البيانات المكررة بعد عمليات النسخ الاحتياطي المتعددة، مما يجعلها مناسبة جدًا لهذه التقنية. في الواقع، يمكن استخدام تقنية إزالة البيانات المكررة في العديد من الحالات، بما في ذلك أنظمة تخزين البيانات المتصلة بالإنترنت، وأنظمة تخزين البيانات شبه المتصلة بالإنترنت، وأنظمة تخزين البيانات غير المتصلة بالإنترنت. ويمكن تطبيقها في أنظمة الملفات، وبرامج إدارة وحدات التخزين، وأنظمة التخزين الشبكية (NAS)، وأنظمة التخزين الشبكية (SAN). كما يمكن استخدام تقنية إزالة البيانات المكررة لاستعادة البيانات في حالات الكوارث، ونقل البيانات ومزامنتها، بالإضافة إلى استخدامها كتقنية ضغط لتغليف البيانات. تُساعد تقنية إزالة البيانات المكررة العديد من التطبيقات على تقليل حجم البيانات المخزنة، وتوفير عرض النطاق الترددي للشبكة، وتحسين كفاءة التخزين، وتقليل مدة النسخ الاحتياطي، وخفض التكاليف.
تتضمن عملية إزالة البيانات المكررة بُعدين رئيسيين: نسب إزالة البيانات المكررة والأداء. يعتمد أداء إزالة البيانات المكررة على تقنية التنفيذ المحددة، بينما يتم تحديد معدل إزالة البيانات المكررة من خلال خصائص البيانات نفسها وأنماط التطبيق، كما هو موضح في الجدول أدناه. تُبلغ شركات التخزين حاليًا عن معدلات إزالة بيانات مكررة تتراوح من 20:1 إلى 500:1.
| معدل إزالة التكرار العالي | معدل إزالة التكرار المنخفض |
| البيانات التي أنشأها المستخدم | بيانات من العالم الطبيعي |
| معدل تغير البيانات المنخفض | معدل تغير البيانات المرتفع |
| بيانات مرجعية، بيانات غير نشطة | البيانات النشطة |
| تطبيق ذو معدل تغيير بيانات منخفض | تطبيق ذو معدل تغيير بيانات مرتفع |
| نسخ احتياطي كامل للبيانات | النسخ الاحتياطي التزايدي للبيانات |
| تخزين البيانات على المدى الطويل | تخزين البيانات على المدى القصير |
| مجموعة واسعة من تطبيقات البيانات | نطاق صغير من تطبيقات البيانات |
| معالجة البيانات التجارية بشكل مستمر | معالجة البيانات العامة للأعمال |
| تجزئة البيانات الصغيرة | تجزئة البيانات الضخمة |
| تجزئة البيانات المطولة | تجزئة البيانات ذات الطول الثابت |
| محتوى البيانات المُدرك | محتوى البيانات غير معروف |
| إزالة البيانات المكررة من الوقت | إزالة البيانات المكانية المكررة |
نقاط تنفيذ إزالة البيانات المكررة
ينبغي مراعاة عوامل مختلفة عند تطوير أو تطبيق تقنية إزالة التكرار، حيث تؤثر هذه العوامل بشكل مباشر على أدائها وفعاليتها.
| (1) | ماذا | ما هي البيانات التي تم تقليل وزنها؟ |
| (2) | متى | متى سيتم التخلص من الوزن الزائد؟ |
| (3) | أين | أين التخلص من الوزن الزائد؟ |
| (4) | كيف | كيف يمكن إنقاص الوزن؟ |
تقنية المفاتيح المكررة
تتلخص عملية إزالة البيانات المكررة في نظام التخزين عمومًا فيما يلي: أولًا، يُقسّم ملف البيانات إلى مجموعة من البيانات، ثم تُحسب بصمة كل كتلة بيانات، وبعد ذلك، بناءً على كلمات البحث في تجزئة البصمة، يُشير التطابق إلى وجود كتل بيانات مكررة، ويُخزّن رقم فهرس كتلة البيانات فقط، وإلا فهذا يعني أن كتلة البيانات هي جزء جديد تمامًا، ويتم تخزين كتلة البيانات وإنشاء معلومات وصفية ذات صلة. وبالتالي، يُقابل كل ملف فعلي في نظام التخزين تمثيلًا منطقيًا لمجموعة من البيانات الوصفية. عند قراءة الملف، تُقرأ أولًا البيانات المنطقية، ثم تُستخرج كتلة البيانات المقابلة من نظام التخزين وفقًا لتسلسل البصمة، وتُستعاد نسخة الملف الفعلي. يتضح من العملية المذكورة أعلاه أن التقنيات الرئيسية لإزالة البيانات المكررة تشمل تجزئة كتل بيانات الملف، وحساب بصمة كتلة البيانات، واسترجاع كتلة البيانات.
(1) تجزئة كتلة بيانات الملف
(2) حساب بصمة كتلة البيانات
(3) استرجاع كتلة البيانات
للعثور على هذه النماذج الموصى بها لبدء عملية إزالة التكرار من حزم الشبكة:
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-640048 منفذ SFP+ بسرعة 10 جيجابت في الثانية بالإضافة إلى 4 منافذ QSFP28 بسرعة 40/100 جيجابت في الثانية، بحد أقصى 880 جيجابت في الثانية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-56606 منافذ QSFP28 بسرعة 40 جيجابت/100 جيجابت بالإضافة إلى 48 منفذ SFP28 بسرعة 10 جيجابت/25 جيجابت، بحد أقصى 1.8 تيرابت في الثانية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-506048 منفذ SFP+ بسرعة 10 جيجابت في الثانية بالإضافة إلى منفذي QSFP بسرعة 40 جيجابت في الثانية، بحد أقصى 560 جيجابت في الثانية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-486048 منفذ SFP+ بسرعة 10 جيجابت في الثانية، بحد أقصى 480 جيجابت في الثانية، وظيفة إضافية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-481048 منفذ SFP+ بسرعة 10 جيجابت في الثانية، بحد أقصى 480 جيجابت في الثانية
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-2410P24 منفذ SFP+ بسرعة 10 جيجابت في الثانية، بحد أقصى 240 جيجابت في الثانية، ووظيفة DPI
وسيط حزم الشبكة Mylinking™ (NPB) ML-NPB-6400
48 منفذ SFP+ بسرعة 10 جيجابت في الثانية بالإضافة إلى 4 منافذ QSFP28 بسرعة 40/100 جيجابت في الثانية، بحد أقصى 880 جيجابت في الثانية
تاريخ النشر: 18 أكتوبر 2022
