مطوِّر منصات البيانات الضخمة

وصف

الملخّص: نبحث عن مطوِّرٍ خبيرٍ ومبتكرٍ لمنصات البيانات الضخمة لتصميم وتطوير وتنفيذ وصيانة منصات البيانات الضخمة القابلة للتوسع وحلول معالجتها. أبرز النقاط: 1. تصميم وصيانة منصات البيانات الضخمة القابلة للتوسع وحلول معالجة البيانات 2. تطوير خطوط أنابيب البيانات عالية الحجم والأداء العالي وتحسينها 3. العمل بتقنيات معالجة البيانات الموزَّعة مثل Apache Spark وHadoop نحن نبحث عن مطوِّرٍ خبيرٍ ومبتكرٍ لمنصات البيانات الضخمة ليُنضم إلى فريقنا الهندسي التقني وهندسة البيانات. سيكون المرشح الناجح مسؤولًا عن تصميم وتطوير وتنفيذ وصيانة منصات البيانات الضخمة القابلة للتوسع وحلول معالجة البيانات. وسيعمل هذا الدور بشكل وثيق مع مهندسي البيانات، ومطوِّري البرمجيات، وعلماء البيانات، والمهندسين المعماريين، وأصحاب المصلحة في مجال الأعمال لبناء منصات بيانات عالية الأداء تدعم التحليلات والتقارير والذكاء الاصطناعي ومبادرات الذكاء التجاري. ويجب أن يمتلك المرشح المثالي خبرة عملية قوية في تقنيات البيانات الضخمة، والحوسبة الموزَّعة، وخطوط أنابيب البيانات، ومنصات السحابة، والهندسة الحديثة للبيانات. **المهام الرئيسية** * تصميم وتطوير وصيانة منصات البيانات الضخمة القابلة للتوسع وحلول معالجة البيانات. * تطوير خطوط أنابيب البيانات عالية الحجم والأداء العالي وتحسينها للبيانات المنظمة وغير المنظمة. * بناء خطوط أنابيب ETL/ELT موثوقة لاستيعاب البيانات وتحويلها ومعالجتها ودمجها. * العمل بتقنيات معالجة البيانات الموزَّعة مثل **Apache Spark وHadoop وKafka والمنصات ذات الصلة**. * تصميم وتنفيذ حلول استيعاب البيانات من قواعد البيانات وواجهات برمجة التطبيقات (APIs) والتطبيقات والسجلات (Logs) وأجهزة إنترنت الأشياء (IoT) ومصادر البيانات الأخرى. * تطوير حلول معالجة البيانات الدفعية وفي الوقت الفعلي/المتدفقة. * تحسين مهام معالجة البيانات والاستعلامات والتخزين وأداء المنصة. * تنفيذ آليات جودة البيانات والتحقق منها والرصد ومعالجة الأخطاء. * تطوير حلول تخزين البيانات القابلة للتوسع باستخدام البحيرات البيانات (Data Lakes) والمستودعات البيانات (Data Warehouses) والمنصات الحديثة للبيانات. * دمج منصات البيانات الضخمة مع بيئات الذكاء التجاري والتحليلات والذكاء الاصطناعي وتعلُّم الآلة. * تنفيذ متطلبات الأمان وضوابط الوصول والتشفير والحوكمة عبر منصات البيانات. * رصد أداء المنصة وتوفرها والسعة والموثوقية. * تشخيص المشكلات المتعلقة بخطوط أنابيب البيانات والمنصة وحلها. * أتمتة عمليات النشر والاختبار والرصد والتشغيل. * التعاون مع فرق DevOps والحوسبة السحابية لتنفيذ **CI/CD وأتمتة البنية التحتية**. * تطوير الوثائق التقنية ورسومات العمارة والمعايير والإجراءات التشغيلية. * المشاركة في تقييم التقنيات وتقديم توصيات لتحسين قابلية التوسع والأداء وكفاءة التكلفة. * مواكبة أحدث تقنيات البيانات الضخمة والحوسبة السحابية وهندسة البيانات والتحليلات. **المؤهلات المطلوبة** * درجة البكالوريوس في **علوم الحاسوب أو تكنولوجيا المعلومات أو هندسة البرمجيات أو هندسة البيانات** أو تخصص ذي صلة. * **خبرة لا تقل عن 5 سنوات** في هندسة البيانات أو تطوير البيانات الضخمة أو منصات البيانات أو دور فني ذي صلة. * خبرة قوية في البرمجة بلغات **Python أو Java أو Scala**. * خبرة قوية في **Apache Spark** ومعالجة البيانات الموزَّعة. * خبرة عملية في تطوير وإدارة **خطوط أنابيب بيانات ETL/ELT**. * معرفة قوية بلغة SQL وقواعد البيانات العلائقية. * خبرة في هندسة تخزين ومعالجة البيانات على نطاق واسع. * فهم جيد لمفاهيم نمذجة البيانات وتكامل البيانات ومستودعات البيانات. * خبرة في العمل ضمن بيئات Linux/Unix. * فهم قوي لدورة حياة تطوير البرمجيات والتحكم بالإصدارات والممارسات الاختبارية ونشر الحلول. * مهارات تحليلية وحل مشكلات قوية. مكان العمل: شخصيًا