إثبات مفهوم إنترنت الأشياء والبيانات الضخمة متعدد السحابات

السياق

في أوائل عام 2017، تم تكليفي ببناء مجموعة شاملة من إثباتات المفاهيم (POCs) لتقييم منصات سحابية لأحمال عمل إنترنت الأشياء والبيانات الضخمة والتعلم الآلي. كان الهدف مقارنة Azure و AWS و GCP و IBM Bluemix (الآن IBM Cloud) و Alibaba Cloud عبر حالات استخدام متطابقة — ثم التوصية بخريطة طريق استراتيجية لاعتماد السحابة.

امتدت إثباتات المفاهيم عبر الحوسبة الطرفية (Raspberry Pi مع LTE)، ووسطاء الرسائل (MQTT على Facebook و Azure و Adafruit IO)، وبحيرات البيانات، وخطوط أنابيب التعلم الآلي.

الهدف

تقييم ومقارنة خمس منصات سحابية لاستيعاب إنترنت الأشياء ومعالجة البيانات الضخمة والتعلم الآلي — باستخدام عتاد حقيقي وبيانات حقيقية.

معايير النجاح:

• استيعاب بيانات القياس عن بُعد من أجهزة Raspberry Pi فعلية عبر SigFox و LoRaWAN
• معالجة البيانات المتدفقة باستخدام Hadoop (HDFS، Yarn، MapReduce)
• بناء خطوط أنابيب بحيرة بيانات باستخدام Azure Data Factory و AWS Glue
• تدريب ونشر نماذج تعلم آلي على كل منصة
• أتمتة إدارة مختبر IaaS لبيئات قابلة لإعادة الإنتاج

المنهج

قمت بتشغيل أحمال عمل متطابقة عبر جميع المنصات:

1. طبقة الحافة
   تثبيت Raspbian على أجهزة Raspberry Pi، وتوصيل مودمات LTE، وتكوين بوابات SigFox و LoRaWAN. كل Raspberry Pi كانت تنشر رسائل MQTT إلى وسطاء خاصين بكل منصة — Azure IoT Hub و AWS IoT Core و IBM Watson IoT و Adafruit IO.

2. استيعاب التدفق
   تم توجيه بيانات MQTT إلى محرك التدفق لكل منصة: Azure Stream Analytics و AWS Kinesis و Google Cloud Dataflow و IBM Streaming Analytics. تم قياس زمن الانتقال والإنتاجية تحت أحجام حمولات متطابقة.

3. بحيرة البيانات والبيانات الضخمة
   إنزال بيانات القياس الخام في بحيرة البيانات لكل منصة (Azure Data Lake Store، AWS S3، Google Cloud Storage). تشغيل مهام Hadoop MapReduce للتجميع وتغذية النتائج في خدمة التعلم الآلي لكل منصة.

4. التعلم الآلي
   تدريب نماذج انحدار متطابقة (للتنبؤ بانجراف المستشعر) على Azure ML و AWS SageMaker و Google AI Platform و IBM Watson Studio. مقارنة وقت التدريب وزمن نشر الانتشار والتكلفة.

5. أتمتة IaaS
   برمجة توفير الآلات الافتراضية وإزالتها باستخدام CLI/SDK لكل منصة، مما يتيح بيئات مختبر قابلة لإعادة الإنتاج لكل دورة اختبار.

التحديات

• كانت تطبيقات وسطاء MQTT عبر المنصات مختلفة بشكل طفيف في مستويات جودة الخدمة (QoS) وسلوك الرسائل المحتجزة.
• اختلف تكوين بوابة LoRaWAN بشكل كبير بين المزودين — تطلب تعديلات مخصصة على البرامج الثابتة للوحات تركيز Raspberry Pi.
• كان ضبط مهام Hadoop خاصاً بكل منصة؛ تكوينات Yarn التي عملت على Azure HDInsight فشلت على Amazon EMR دون تعديل.
• كان تتبع التكاليف عبر خمس منصات سحابية مشروعاً بحد ذاته — كل نموذج فوترة خاص بكل منصة تطلب لوحات مراقبة منفصلة.

النتيجة

أنتج التقييم تقرير توصيات من 120 صفحة تم اعتماده من مكتب المدير التقني. تم اختيار Azure كسحابة أساسية، مع AWS كخطة احتياطية للتعافي من الكوارث (DR). أصبحت بيئة المختبر الآلي معيار الشركة لإثباتات المفاهيم المستقبلية، مما قلص وقت إطلاق المشاريع الجديدة من أسابيع إلى ساعات.

الدرس المستفاد

تعدد السحابات لا يتعلق بتجنب الاحتكار — بل باختيار الأداة المناسبة لكل مهمة. فضّل استيعاب إنترنت الأشياء Azure، وفضلت البيانات الضخمة AWS في ذلك الوقت، وكان تدريب التعلم الآلي أكثر فعالية من حيث التكلفة على GCP. كانت التوصية عملية، لا عقائدية.