نظرة على تطور بنية البيانات: كيف تختار البنية المناسبة لاحتياجك؟
نظرة على تطور بنية البيانات: كيف تختار البنية المناسبة لاحتياجك؟
هدى العمري
فريق تحرير الجمعية
في العاشر من صفر 1446ه الموافق 14 أغسطس 2024 م، استضافت جمعية إدارة البيانات (داما السعودية) ندوة عبر الإنترنت بعنوان “إتقان بنية البيانات: كيفية اختيار الحل الأمثل لاحتياجاتك”. كانت الجلسة التي قدمها المهندس محمود ياسين، الخبير المتمرس في مجال البيانات والمدير الأول لإدارة البيانات في Booking.com، غنية بالمعلومات حيث شارك فيها خبرته الواسعة حول تطور بنية البيانات والاعتبارات الاستراتيجية الضرورية لاختيار النهج الصحيح.
النقاط الرئيسية التي تم استعراضها خلال الندوة:
فهم بنية البيانات (Data Architecture)
بدأ م.محمود بذكر عدة تعاريف لبنية البيانات من جهات مختلفة:
- بناء على DAMA International بنية البيانات هي الأساس الذي تُبنى عليه أنشطة إدارة البيانات والحوكمة، وفي النهاية اتخاذ القرارات القائمة على البيانات. فهي توفر الهيكل والقواعد التي تسمح للبيانات بأن تكون متسقة ودقيقة ومفيدة.
- بينما عرفت TOGAF بنية البيانات بأنها هيكل أصول البيانات المنطقية والمادية وموارد إدارة البيانات للمؤسسة.
- كما جاءت IBM بتعريفها أنها كيفية إدارة البيانات من التجميع إلى التحويل والتوزيع والاستهلاك. إنه يحدد المخطط التفصيلي للبيانات والطريقة التي تتدفق بها عبر أنظمة تخزين البيانات.
- وذكرت bmc بأنه إطار عمل لكيفية دعم البنية التحتية لتكنولوجيا المعلومات لاستراتيجية البيانات الخاصة بك. الهدف من أي بنية بيانات هو إظهار البنية التحتية للمنظمة، وكيفية الحصول عليها، ونقلها، وتخزينها، وطلبها، وتأمينها.
تتبع م.محمود تطور بنية البيانات من مستودعات البيانات (Data Warehouses) إلى بحيرات البيانات (Data Lakes) وظهور شبكة البيانات (Data Mesh) كحل حديث للتحديات التي تطرحها أنظمة إدارة البيانات المركزية.
اختيار بنية البيانات المناسبة
- أكد م.محمود أن اختيار بنية البيانات يعتمد على عوامل مثل حجم المنظمة، استراتيجية البيانات، والبنية التحتية التكنولوجية.
- قدم محمود شبكة البيانات (Data Mesh) كنهج لامركزي يركز على ملكية البيانات الموجهة للمجال والبنية التحتية لخدمة البيانات الذاتية (Self-Service Data Infrastructure)، مما يسمح للمنظمات بالتوسع بشكل فعال مع الحفاظ على المرونة.
دور الحوسبة السحابية (Cloud Computing) وتأثيرها على بنية البيانات
ناقش محمود كيف أن الحوسبة السحابية قد أحدثت ثورة في إدارة البيانات من خلال تقديم التوسع والمرونة، مما يمكن المنظمات من تبني هياكل أكثر حداثة وكفاءة مثل شبكة البيانات.
التعامل مع البيانات كمنتج (Data as a Product)
كان أحد المفاهيم البارزة التي قدمها م. محمود هو التعامل مع البيانات كمنتج. يتضمن ذلك تحديد ملكية واضحة ومسؤولية، وضمان جودة البيانات، وتعزيز التفكير الذي يرى البيانات كأصل قيم يجب إدارته بنفس الدقة التي يتم بها إدارة أي منتج آخر.
لماذا نحتاج إلى بنية البيانات؟
أكد محمود على أهمية بنية البيانات كعنصر أساسي لجميع أنشطة إدارة البيانات. وذكر أن بنية البيانات ضرورية لضمان بقاء المنظمات متحكمة في بياناتها، وهو أمر أساسي لتنفيذ استراتيجيات فعالة لإدارة البيانات. هذا التحكم ضروري سواء كانت المنظمة تستخدم نهجًا مركزيًا (Centralized) أو لامركزيًا (De-Centralized).
1. دعم التحليلات والذكاء الاصطناعي (Support for Analytics and AI): أشار محمود إلى أن بنية البيانات هي المحفز الرئيسي لكل من التحليلات العادية والمتقدمة بالإضافة إلى مبادرات الذكاء الاصطناعي. وأوضح أنه بدون بنية بيانات قوية، سيكون من الصعب تحديد مكان وجود البيانات، وفي أي شكل يتم تخزينها، وكيفية الوصول إليها، مما يجعل من المستحيل تقريبًا تشغيل حالات استخدام متقدمة أو تنفيذ الذكاء الاصطناعي وتعلم الآلة بشكل فعال.
2. القابلية للتوسع والمرونة (Scalability and Flexibility): شدد على أهمية القابلية للتوسع والمرونة في بنية البيانات، خاصة مع نمو المنظمات وتوسع عملياتها. وذكر أن بنية البيانات المرنة تسمح للمنظمات بتوسيع بنيتها التحتية، خاصة عند تبني الحوسبة السحابية، التي توفر فوائد مثل زيادة السعة والقدرة على التكيف مع التقلبات في الطلبات.
3. تحسين عملية اتخاذ القرار (Improved Decision-Making): شرح محمود كيف تلعب بنية البيانات دورًا محوريًا في تحسين عملية اتخاذ القرار داخل المنظمات. استخدم مثال التحليلات في الوقت الفعلي، مثل وظيفة ساعة Apple التي تجمع وتعالج بيانات الصحة في الوقت الفعلي، مما يوفر رؤى وتنبيهات فورية للمستخدمين. هذا المستوى من المعالجة في الوقت الفعلي لا يمكن تحقيقه إلا من خلال بنية بيانات قوية ومرنة.
4. كفاءة التكلفة (Cost Efficiency): تطرق محمود أيضًا إلى كفاءة التكلفة التي تأتي من وجود بنية بيانات جيدة التنظيم. وأشار إلى أن المنظمات يمكنها تجنب النفقات غير الضرورية من خلال تقليل الصوامع البياناتية والقضاء على التكرار. من خلال مركزية الأدوات والموارد، يمكن للمنظمات إدارة عملياتها بشكل أكثر كفاءة وفعالية من حيث التكلفة.
5. الامتثال والأمان (Compliance and Security): أخيرًا، ناقش محمود أهمية بنية البيانات في ضمان الامتثال للمتطلبات التنظيمية والحفاظ على أمان البيانات. وأبرز أن بنية البيانات القوية تساعد المنظمات على البقاء متوافقة مع اللوائح المحلية، مثل تلك التي تنفذها سدايا في المملكة العربية السعودية، مع حماية البيانات الحساسة من الاختراقات والوصول غير المصرح به.
فوائد مستودعات البيانات:
- مستودع بيانات مركزي (Centralized Data Repository): يضمن وجود مصدر واحد للبيانات الموثوقة من خلال دمج البيانات عبر المنظمة.
- معالجة الدفعات (Batch Processing): يتعامل بكفاءة مع تحديثات الدفعات خلال ساعات الذروة المنخفضة، ويخزن البيانات التاريخية للتحليل.
- دعم لتحليل(Support for Online Analytical Processing) OLAP: يعزز التحليل متعدد الأبعاد باستخدام البيانات المجمعة مسبقًا، مما يتيح تقارير سريعة وعميقة.
- عملية(Extract, Transform, Load Process) ETL: حاسمة لتحويل وتحميل البيانات إلى المستودع، مع إمكانية استخدام ELT حسب السيناريو.
- تخزين البيانات المبنية (Structured Data Storage): يستخدم مخططات مبنية للاستعلام الفعال وإعداد التقارير، مما يجعل استرجاع البيانات أكثر دقة.
فوائد بحيرات البيانات:
- المرونة في تطبيق المخطط (Schema-on-Read): تطبق بحيرات البيانات المخطط عند قراءة البيانات، مما يتيح مرونة أكبر في التعامل مع أنواع مختلفة من البيانات دون الحاجة إلى تنظيم مسبق.
- تكامل البيانات من مصادر متعددة (Multi-Source Data Ingestion): تدعم بحيرات البيانات جمع البيانات من مصادر متنوعة مثل أجهزة إنترنت الأشياء ووسائل التواصل الاجتماعي، مما يعزز من قدرتها على استيعاب بيانات مبنية وغير مبنية.
- مستودع بيانات مركزي (Centralized Data Repository): توفر بحيرات البيانات مستودعًا مركزيًا يمكن من خلاله تخزين جميع أنواع البيانات بصيغتها الخام، مما يسهل إدارة البيانات والوصول إليها في المؤسسة.
- تعزيز ديمقراطية البيانات (Data Democratization): تمكن بحيرات البيانات من توسيع نطاق الوصول إلى البيانات داخل المؤسسة، مما يعزز الابتكار ويسمح للفرق المختلفة بإجراء التحليلات بشكل مستقل.
المبادئ الأربعة لشبكة البيانات :(Data Mesh)
1. ملكية البيانات الموجهة نحو المجال (Data Domain Ownership): يتم توزيع ملكية البيانات على مجالات العمل المختلفة (مثل المالية أو الموارد البشرية)، مما يسمح لكل مجال بإدارة بياناته بما يتوافق مع احتياجاته الخاصة، ويقلل من الفجوة بين فرق البيانات واحتياجات العمل.
2. البيانات كمنتج (Data as a Product): يتم التعامل مع البيانات كمنتج مستقل يجب أن يكون له مالك واضح، مع التركيز على الجودة وسهولة الوصول والاستخدام.
3. بنية تحتية ذاتية الخدمة للبيانات (Self service data platform): تمكين فرق المجالات من إدارة بياناتها واستخدامها بشكل مستقل دون الحاجة إلى الاعتماد الكبير على فريق تكنولوجيا المعلومات، مما يقلل من العوائق ويزيد من مرونة الاستجابة.
4. حوكمة حوسبية اتحادية (Federated Computational Governance): تحقيق توازن بين اللامركزية في إدارة البيانات والامتثال للمعايير والسياسات المشتركة لضمان الأمان والتناسق عبر المنظمة.
المبادئ الأساسية لمنتجات البيانات:
1. يمكن اكتشافها (Discoverable): يجب أن تكون منتجات البيانات سهلة الاكتشاف والمعرفة.
2. قابلة للفهم (Understandable): يجب أن تكون لها معاني واضحة ودلالات مفهومة.
3. موثوقة (Trustworthy): يجب أن يكون هناك شفافية حول المصادر والجودة.
4. قابلة للعنونة (Addressable): يجب أن يكون لها معرفات ونقاط وصول واضحة.
5. متاحة بشكل طبيعي (Natively Accessible): يجب أن تكون متوفرة من خلال الأدوات والأساليب التي يحتاجها المستخدمون.
6. قابلة للتشغيل المتبادل (Interoperable): يجب أن تكون قابلة للربط بأمان مع منتجات البيانات الأخرى.
7. ذات قيمة في حد ذاتها (Valuable on its own): يجب أن تحتوي منتجات البيانات على معلومات قيمة بشكل مستقل.
8. آمنة (Secure): يجب أن تتضمن سياسات وصول موثوقة وسياسات للحفاظ على السرية.
نصائح لاختيار بنية البيانات المناسبة لاحتياجاتك تشمل:
1. فهم احتياجات المنظمة :ابدأ بتقييم حجم المنظمة، طبيعة البيانات التي تتعامل معها، ومستوى التعقيد في العمليات اليومية. المنظمات الصغيرة قد لا تحتاج إلى أنظمة متقدمة مثل “شبكة البيانات”، بينما المنظمات الكبيرة والمعقدة قد تستفيد منها بشكل أكبر.
2. تقييم البنية التحتية الحالية :تأكد من توافق البنية التحتية الحالية مع الحل المقترح. إذا كانت المنظمة تعتمد بشكل كبير على بنية تحتية سحابية أو تخطط للانتقال إلى السحابة، فقد كون “شبكة البيانات” أو “بحيرة البيانات” الخيار الأفضل.
3. النظر في ثقافة البيانات داخل المنظمة :يتطلب تبني حلول مثل “شبكة البيانات” تغييرًا في ثقافة المنظمة، حيث يتم توزيع المسؤولية على مختلف الفرق. يجب أن تكون المنظمة مستعدة لتحمل هذا التغيير ودعمه.
4. المرونة والقابلية للتوسع :اختر حلاً يوفر المرونة والقابلية للتوسع مع نمو المنظمة. الحلول التي تدعم توسيع نطاق البيانات والتعامل مع أحجام بيانات كبيرة مثل “بحيرة البيانات” أو “شبكة البيانات” تكون مثالية في هذا السياق.
5. الامتثال والأمان :تأكد من أن الحل المختار يلتزم بالمتطلبات التنظيمية والمعايير الأمنية. إذا كانت البيانات تتطلب حماية عالية، فإن الحلول التي توفر حوكمة قوية مثل “شبكة البيانات” قد تكون الأفضل.
6. التقييم المستمر :نصح محمود بتقييم الهيكلة البيانية بشكل دوري للتأكد من أنها لا تزال تلبي احتياجات المنظمة. قد تحتاج المنظمة إلى تعديل أو تحديث بنية البيانات مع تغير احتياجاتها أو تطور تقنيات جديدة.
أخيراً ركز م. محمود على أن اختيار بنية البيانات المثلى يتطلب فهمًا دقيقًا لاحتياجات المنظمة، وتقييمًا للبنية التحتية الحالية، مع مراعاة ثقافة البيانات، والمرونة، والامتثال، وإجراء تقييمات دورية لضمان تلبية الحلول للاحتياجات المتغيرة.
واختتم بالتأكيد على أن بنية البيانات تعمل كالمخطط الذي يمكّن البيانات من التدفق بحرية وكفاءة عبر المنظمة، مما يحول المعلومات الخام إلى رؤى قابلة للتنفيذ، وهو الهدف النهائي لأي منظمة تعتمد على البيانات.
أبرز محاور جلسة الأسئلة والأجوبة
1. كيف ترفع شبكة البيانات (Data Mesh) معايير حوكمة البيانات وخصوصية البيانات، وما هي المنهجيات التي يمكن أن تعالج هذه المخاوف؟
أقر محمود بمتطلبات الحوكمة والخصوصية المتزايدة في إطار شبكة البيانات. أوصى باتباع الأطر المعمول بها مثل تلك الصادرة عن المكتب الوطني لإدارة البيانات (NDMO) و المؤشر الوطني للبيانات (NDI) لضمان الامتثال والحفاظ على التحكم.
2. كيف تتطور بنية البيانات للتكيف مع عصر الذكاء الاصطناعي؟
أوضح محمود أنه في حين أن الذكاء الاصطناعي قد لا يؤثر مباشرة على بنية البيانات، إلا أنه يلعب دوراً كبيراً في تحسين جودة البيانات وسلسلة البيانات من خلال العمليات الآلية. وقدم أمثلة على كيفية استخدام الذكاء الاصطناعي لعكس بنية الشفرات التشغيلية لتحسين حوكمة البيانات.
3. ما هي البيانات المظلمة وكيف يجب على المنظمات إدارتها؟
شرح محمود البيانات المظلمة (Dark Data) كبيانات غير مبنية وغير مستخدمة توجد في المنظمة بدون ملكية واضحة أو هدف محدد. وشدد على أهمية حوكمة البيانات في تحديد وإدارة البيانات المظلمة لتجنب المخاطر المحتملة.
شاركنا رأيك حول خبراتك وتجاربك مع حلول وتصاميم بنية البيانات.
لمشاهدة اللقاء كامل اضغط هنا.
*ملاحظة: تم استخدام معجم البيانات والذكاء الاصطناعي الصادر من سدايا بالإضافة لمعجم قاموس المصطلحات الرقمية الصادر من هيئة الحكومة الرقمية لترجمة المصطلحات التقنية في اللقاء.
مشكورين على الجهود الجبارة وعلى الفائدة التي اكتسبتها من اللقاء