محمد اللغبي
20-12-2007, 09:22 PM
مستودعات البيانات
مُقدِمة ( preface )
يمكن تصنيف نظم المعلومات من جوانب كثيرة ومتعددة ويطول حصرها. ومن تلك التصنيفات,
التصنيف على حسب الهدف من تلك النظم في المنشئات , أهي نظم معلومات تشغيلية ( Operational Systems) ؟
أم نظم معلومات إدارية (Managment Systems) , أو أنظمة دعم القرار (Decision Support Systems)
أو أنظمة الخبرة ( Expert Systems) ؟ أو ....... ألخ.
التركيز هنا سيكون على صنفني نظم المعلومات التشغيلية ونظم دعم القرار.
نظم المعلومات التشغيلية تهتم بإدارة العمليات اليومية للمؤسسات وتعتبر الركيزة الأساسية في المنشئات الحديثة. ومن أمثلة تلك النظم , النظم المحاسبية , نظم إدارة المرضى في المستشفيات, نظم إدارة الطلبات في موقع تجاري على الإنترنت ونظم تسجيل الطلبة في المعاهد والكليات . فجميع هذه الأنظمة تهتم بعمليات تشغيلية يومية للمؤسسات ولاغنى عنها في المؤسسات الحديثة.
ومن الواضح أن نظم المعلومات التشغيلية تقوم بتخزين ومعالجة كمية كبيرة من البيانات يوميا, وتزداد تلك البيانات مع الوقت حتى تصل في بعض المؤسسات إلى ملايين الجيجا بايت و التيرا بايت أحيانا, ومثال ذلك, تلك البيانات التي توجد في مؤسسات التأمين والجامعات والمستشفيات والمؤسسات الحكومية العامة.
أن مثل هذه البيانات تعد ثروة حقيقية ولا تقدر بثمن إذا ما استغلتها المنشئات بالدراسة والتحليل وعرضها بعد ذلك لصانعي القرار في المنشئات , بصورة تمكنهم من التعرف على أداء تلك المنشئات ورسم الاستراتيجيات بعيدة المدى لها.
من هنا ظهرت الحاجة إلا نظم دعم القرار (DSS) ومن أهم تطبيقات تلك النظم بل تعتبر الركيزة الرئيسية لها ما تسمى بمستودعات البيانات (Data Warehousing).
تعريف ( Definition )
مستودعات البيانات هي تلك النظم التي تهتم بدراسة وتحليل وعرض بيانات المنشئة بصورة تمكن الإدارة العليا من صنع القرار. البيانات في هذه المستودعات لها صفات تميزها عن أي بيانات أخرى وهذه الصفات على النحو التالي:
أنها Subject-Oriented: على سبيل المثال نعرف ال Subjects في منشئة طبية على أنهم الأطباء والممرضين والأدوية والأمراض وهكذا , فهي أشياء حسية ومعنوية.
أنها Integrated: وجود العلاقة بين البيانات.
أنها None-Volatile: أن تلك البيانات غير قابلة للتعديل عند تحميلها في المستودعات, فقط تستخدم للتحليل والدراسة والعرض.
أنها Time-Variant: وهذه أهم نقطة , أن تلك البيانات ترتبط بعامل الوقت.فعلى سبيل المثال بيانات تسجيل الطلاب في الجامعة على مدى أربعين عام.
بناء مستودعات البيانات ( Creating Data Warehouses)
إن مشروع بناء مستودع للبيانات في مؤسسة ما ليس بالأمر السهل , ويتطلب وجود فريق عمل محترف في تحليل الأنظمة والأعمال ( Business & Information Systems Analysis) . وكذلك من المهم وجود المهارات التقنية المحترفة في ذلك الفريق.
سنعرض الخطوات التقنية ( Implementation) لبناء مستودعات البيانات , بعيدا عن مرحلة التحليل والتصميم التي تقترب جدا من نظرة الأعمال (Business) , وهذه الخطوات مرتبة على النحو التالي:
Creating Data Preparation Area : وهي قاعدة بيانات ذات سعة تخزين عالية جدا , تقوم بتخزين كافة البيانات القادمة من الأنظمة التشغيلية (Operational Systems) المختلفة , لكي تنقى البيانات فيها وتعدل قبل تحميلها في مستودع البيانات. ويراعى في هذه المرحلة أن يكون تصميم قاعدة إعداد البيانات متوافق مع تصميم مستودع البيانات.
Creating Data Warehouse: وفيها ينشى مستودع البيانات الذي سيحمل فيه البيانات بعد استخراجها وتنقيتها . وتصمم مستودعات البيانات دائما بحيث تسمح بوجود العلاقات ذات الأبعاد المختلفة , مثال ذلك العلاقة بين قبول الطلبة في تخصص ما , في سنة ما .
بعض المؤسسات الكبيرة تقوم بتجزئة مستودع البيانات إلى مجموعة من (Data Marts) بحيث يكون هناك Data Mart خاص ببيانات الإدارة المالية وآخر خاص بإدارة الموارد البشرية أو يكون التقسيم مبني على فروع المؤسسة.
Transformation & Cleansing & Data Extraction: وفي هذه المرحلة نقوم بجلب البيانات من مصادرها المختلفة إلى Data Preparation Area , ونقوم بتحويلها من صورة إلى أخرى إذا تطلب الأمر ذلك. كذلك في أغلب الأحيان تدمج بعض البيانات مع بعضها البعض أو نقوم بتعريف بيانات جديدة لم تكن موجودة من قبل, إضافة إلى تنقية البيانات الغير صائبة وحذف الغير مهم منها.
Loading Data in Data Warehouse: وفي هذه المرحلة تحمل البيانات من Data Preparation Area إلى مستودع البيانات. ويتم خلال هذه المرحلة اختبار البيانات.
Creating DSS Applications & OLAP : وفي هذه المرحلة تنفذ التطبيقات الخاصة بعرض بيانات مستودع البيانات وتحليلها , وتسمى OnLine Analytical Processing Systems . هذه التطبيقات تقوم بعرض البيانات بعدة أبعاد وتقوم باستخدام خوارزميات معقدة لتحليل البيانات. كذلك في هذه المرحلة تستخدم أدوات التنقيب عن البيانات تدعى ( Data Mining Tools ) .
بنية مستودعات البيانات ( Architecture of Data Warehouses )
أغلب المؤسسات تعتمد بنية Three-Tier Architecture في عمل مستودعات البيانات , وفي هذه البنية يقسم نظام مستودع البيانات إلى ثلاث مستويات هي على النحو التالي :
مستوى الأنظمة التشغيلية ومصادر البيانات المختلفة ( Operation Systems & Data Sources) .
مستوى مستودع البيانات ( Data Warehouses Tier) .
مستوى تطبيقات العرض والتحليل ( OLAP Systems ) .
في الأخير هناك الكثير من الشركات التي تقدم الأنظمة والأدوات الخاصة بإنشاء مستودعات البيانات واستخلاص البيانات من مصادرها , أبرزها شركة أوراكل وحلولها Oracle Data Wharehouse Builder و Oracle Date Mining .
مجلة منتدى الحاسب الإلكترونية
مُقدِمة ( preface )
يمكن تصنيف نظم المعلومات من جوانب كثيرة ومتعددة ويطول حصرها. ومن تلك التصنيفات,
التصنيف على حسب الهدف من تلك النظم في المنشئات , أهي نظم معلومات تشغيلية ( Operational Systems) ؟
أم نظم معلومات إدارية (Managment Systems) , أو أنظمة دعم القرار (Decision Support Systems)
أو أنظمة الخبرة ( Expert Systems) ؟ أو ....... ألخ.
التركيز هنا سيكون على صنفني نظم المعلومات التشغيلية ونظم دعم القرار.
نظم المعلومات التشغيلية تهتم بإدارة العمليات اليومية للمؤسسات وتعتبر الركيزة الأساسية في المنشئات الحديثة. ومن أمثلة تلك النظم , النظم المحاسبية , نظم إدارة المرضى في المستشفيات, نظم إدارة الطلبات في موقع تجاري على الإنترنت ونظم تسجيل الطلبة في المعاهد والكليات . فجميع هذه الأنظمة تهتم بعمليات تشغيلية يومية للمؤسسات ولاغنى عنها في المؤسسات الحديثة.
ومن الواضح أن نظم المعلومات التشغيلية تقوم بتخزين ومعالجة كمية كبيرة من البيانات يوميا, وتزداد تلك البيانات مع الوقت حتى تصل في بعض المؤسسات إلى ملايين الجيجا بايت و التيرا بايت أحيانا, ومثال ذلك, تلك البيانات التي توجد في مؤسسات التأمين والجامعات والمستشفيات والمؤسسات الحكومية العامة.
أن مثل هذه البيانات تعد ثروة حقيقية ولا تقدر بثمن إذا ما استغلتها المنشئات بالدراسة والتحليل وعرضها بعد ذلك لصانعي القرار في المنشئات , بصورة تمكنهم من التعرف على أداء تلك المنشئات ورسم الاستراتيجيات بعيدة المدى لها.
من هنا ظهرت الحاجة إلا نظم دعم القرار (DSS) ومن أهم تطبيقات تلك النظم بل تعتبر الركيزة الرئيسية لها ما تسمى بمستودعات البيانات (Data Warehousing).
تعريف ( Definition )
مستودعات البيانات هي تلك النظم التي تهتم بدراسة وتحليل وعرض بيانات المنشئة بصورة تمكن الإدارة العليا من صنع القرار. البيانات في هذه المستودعات لها صفات تميزها عن أي بيانات أخرى وهذه الصفات على النحو التالي:
أنها Subject-Oriented: على سبيل المثال نعرف ال Subjects في منشئة طبية على أنهم الأطباء والممرضين والأدوية والأمراض وهكذا , فهي أشياء حسية ومعنوية.
أنها Integrated: وجود العلاقة بين البيانات.
أنها None-Volatile: أن تلك البيانات غير قابلة للتعديل عند تحميلها في المستودعات, فقط تستخدم للتحليل والدراسة والعرض.
أنها Time-Variant: وهذه أهم نقطة , أن تلك البيانات ترتبط بعامل الوقت.فعلى سبيل المثال بيانات تسجيل الطلاب في الجامعة على مدى أربعين عام.
بناء مستودعات البيانات ( Creating Data Warehouses)
إن مشروع بناء مستودع للبيانات في مؤسسة ما ليس بالأمر السهل , ويتطلب وجود فريق عمل محترف في تحليل الأنظمة والأعمال ( Business & Information Systems Analysis) . وكذلك من المهم وجود المهارات التقنية المحترفة في ذلك الفريق.
سنعرض الخطوات التقنية ( Implementation) لبناء مستودعات البيانات , بعيدا عن مرحلة التحليل والتصميم التي تقترب جدا من نظرة الأعمال (Business) , وهذه الخطوات مرتبة على النحو التالي:
Creating Data Preparation Area : وهي قاعدة بيانات ذات سعة تخزين عالية جدا , تقوم بتخزين كافة البيانات القادمة من الأنظمة التشغيلية (Operational Systems) المختلفة , لكي تنقى البيانات فيها وتعدل قبل تحميلها في مستودع البيانات. ويراعى في هذه المرحلة أن يكون تصميم قاعدة إعداد البيانات متوافق مع تصميم مستودع البيانات.
Creating Data Warehouse: وفيها ينشى مستودع البيانات الذي سيحمل فيه البيانات بعد استخراجها وتنقيتها . وتصمم مستودعات البيانات دائما بحيث تسمح بوجود العلاقات ذات الأبعاد المختلفة , مثال ذلك العلاقة بين قبول الطلبة في تخصص ما , في سنة ما .
بعض المؤسسات الكبيرة تقوم بتجزئة مستودع البيانات إلى مجموعة من (Data Marts) بحيث يكون هناك Data Mart خاص ببيانات الإدارة المالية وآخر خاص بإدارة الموارد البشرية أو يكون التقسيم مبني على فروع المؤسسة.
Transformation & Cleansing & Data Extraction: وفي هذه المرحلة نقوم بجلب البيانات من مصادرها المختلفة إلى Data Preparation Area , ونقوم بتحويلها من صورة إلى أخرى إذا تطلب الأمر ذلك. كذلك في أغلب الأحيان تدمج بعض البيانات مع بعضها البعض أو نقوم بتعريف بيانات جديدة لم تكن موجودة من قبل, إضافة إلى تنقية البيانات الغير صائبة وحذف الغير مهم منها.
Loading Data in Data Warehouse: وفي هذه المرحلة تحمل البيانات من Data Preparation Area إلى مستودع البيانات. ويتم خلال هذه المرحلة اختبار البيانات.
Creating DSS Applications & OLAP : وفي هذه المرحلة تنفذ التطبيقات الخاصة بعرض بيانات مستودع البيانات وتحليلها , وتسمى OnLine Analytical Processing Systems . هذه التطبيقات تقوم بعرض البيانات بعدة أبعاد وتقوم باستخدام خوارزميات معقدة لتحليل البيانات. كذلك في هذه المرحلة تستخدم أدوات التنقيب عن البيانات تدعى ( Data Mining Tools ) .
بنية مستودعات البيانات ( Architecture of Data Warehouses )
أغلب المؤسسات تعتمد بنية Three-Tier Architecture في عمل مستودعات البيانات , وفي هذه البنية يقسم نظام مستودع البيانات إلى ثلاث مستويات هي على النحو التالي :
مستوى الأنظمة التشغيلية ومصادر البيانات المختلفة ( Operation Systems & Data Sources) .
مستوى مستودع البيانات ( Data Warehouses Tier) .
مستوى تطبيقات العرض والتحليل ( OLAP Systems ) .
في الأخير هناك الكثير من الشركات التي تقدم الأنظمة والأدوات الخاصة بإنشاء مستودعات البيانات واستخلاص البيانات من مصادرها , أبرزها شركة أوراكل وحلولها Oracle Data Wharehouse Builder و Oracle Date Mining .
مجلة منتدى الحاسب الإلكترونية