تطوير البرمجيات
معالجة البيانات باستخدام Python وpandas
برنامج عملي في pandas للفرق التي تقضي في إصلاح البيانات وقتاً أطول مما تقضيه في تحليلها. يتناول المشاركون أنواع البيانات واستهلاك الذاكرة والعمليات المتجهة ودلالات الدمج ومعالجة القيم المفقودة وإعادة التشكيل ومواءمة السلاسل الزمنية، وصولاً إلى شيفرة تنظيف تعمل دون تعديل في الشهر التالي.
نظرة عامة
تعلم عملي قابل للتطبيق في بيئة العمل.
المشكلة الشائعة ليست نقص إمكانية في pandas، بل دفتر عمل نجح مرة واحدة ثم انهار بمجرد تغيّر ملف المصدر. يصل عمود كنص بدل رقم، ويضاعف الدمج الأيسر الصفوف بصمت، ويعدّل الإسناد المتسلسل نسخة لا يراها أحد، فينحرف الإجمالي المنشور دون تنبيه. يعيد هذا البرنامج بناء الأسس التي تمنع هذه الحالات الأربع: ما الذي يضمنه الفهرس فعلياً، ولماذا يحدد اختيار نوع البيانات الصحة واستهلاك الذاكرة معاً، وكيف يكشف التحقق من الدمج المفاتيح المكررة قبل وصولها إلى التقرير، وكيف تُصاغ عملية التحويل دون حلقة Python. ويختم المشاركون بإعادة كتابة إحدى مهام التنظيف المتكررة لديهم كبرنامج نصي معلَّم بالمعاملات وقابل للاختبار.
المتطلبات المسبقة
إلمام بأساسيات لغة Python من دوال وقوائم وقواميس، ولا تُشترط خبرة سابقة في pandas.
الأهداف
- اختيار أنواع البيانات بوعي لضمان صحة المجموعات وملاءمتها للذاكرة المتاحة.
- استبدال الحلقات صفاً بصف واستدعاءات apply بعمليات متجهة في pandas.
- استخدام merge وjoin وconcat بمفاتيح متحقق منها وعدد صفوف متوقع.
- تحديد استراتيجية مبررة للقيم المفقودة وتوثيق أثرها على النتائج.
- التحويل بين الشكلين العريض والطويل باستخدام pivot وmelt وstack وgroupby.
- تحويل سير عمل التنظيف إلى برنامج نصي معلَّم بالمعاملات مزوّد بفحوص جودة البيانات.
الفئة المستهدفة
- محللو البيانات المنتقلون من الجداول الإلكترونية إلى Python
- أخصائيو ذكاء الأعمال وإعداد التقارير
- محللو المالية والتخطيط والمبيعات الذين يعالجون ملفات بيانات دورية
- مهندسو البيانات المبتدئون الذين يبنون روتينات الاستيعاب والتنظيف
- الباحثون والعلميون الذين يجهّزون بيانات تجريبية أو ميدانية
- فرق التشغيل والجودة التي تدمج بيانات من أنظمة متعددة
محاور البرنامج
هيكل واضح لرحلة التعلم.
محاور البرنامج
تظهر محاور البرنامج في صندوق واحد بدلاً من تحويل كل سطر إلى وحدة منفصلة.
الوحدة 1: Series وDataFrames وأنواع البيانات والذاكرة
عقد الفهرس: المواءمة والتكرارات وسبب إعادة الترتيب الصامتة
مقارنة الأنواع int وfloat وobject وcategory والأنواع القابلة للقيم الفارغة على أعمدة حقيقية
قياس الذاكرة عبر memory_usage وخفضها باستخدام category وتصغير الأنواع
العروض مقابل النسخ والفهرسة المتسلسلة وفخ SettingWithCopy
الوحدة 2: تحميل المصادر غير المنظمة واختيار البيانات
خيارات read_csv وread_excel وJSON للترميزات والفواصل والصفوف التالفة
تحديد dtype وparse_dates عند التحميل بدل الإصلاح لاحقاً
loc وiloc والأقنعة المنطقية وquery ومتى يكون كل منها الخيار الأوضح
قراءة ملفات أكبر من الذاكرة باستخدام chunksize واختيار الأعمدة
الوحدة 3: التنظيف والقيم المفقودة وتصحيح الأنواع
NaN وNone وNaT وpd.NA وكيفية انتشار كل منها في الحساب والمقارنة
الحذف أو التعبئة أو السحب أو الاستيفاء: الاختيار بحسب المعنى العملي لا العادة
تنظيف النصوص عبر الواصل .str والاستخراج بالتعابير النمطية والتوحيد
كشف التكرارات والقيم الشاذة والمستحيلة قبل وصولها إلى التقرير
الوحدة 4: دمج مجموعات البيانات دون فقدان الصفوف
الدمج الداخلي والأيسر والأيمن والخارجي وعدد الصفوف الذي يترتب على كل منها
استخدام معامل validate كعقد يمنع انفجار المفاتيح متعددة إلى متعددة
indicator وsuffixes وتسوية الأعمدة الموجودة في الطرفين
concat وmerge_asof وتجميع ملفات تتشارك جزءاً من المخطط فقط
الوحدة 5: التجميع وإعادة التشكيل والسلاسل الزمنية
منهج التقسيم والتطبيق والدمج في groupby عبر agg وtransform وfilter
pivot_table وmelt وstack وunstack للتحويل بين الشكلين العريض والطويل
DatetimeIndex والمناطق الزمنية وresample والنوافذ المتحركة
دوال النوافذ للمجاميع التراكمية والترتيب والتغير بين الفترات
الوحدة 6: من الدفتر إلى خط تنظيف قابل للتكرار
إعادة هيكلة خلايا الدفتر إلى دوال تحويل مسماة ومختبرة
بوابات جودة قائمة على التحقق من أعداد الصفوف والنطاقات وتفرد المفاتيح
معلَمة المسارات والتواريخ والمرشحات لتشغيل البرنامج دون تدخل
الكتابة إلى Parquet وCSV بمخططات ثابتة وأعمدة تدقيق
المواد المقدمة
- دليل الدورة وأمثلة شيفرة موثّقة وملاحظات مرجعية
- بيئة معملية عملية ومستودعات بداية جاهزة
- تمارين وقوائم تحقق وقوالب شيفرة قابلة لإعادة الاستخدام
- شهادة إتمام من 4D
- دعم فني بعد انتهاء البرنامج
خيارات التدريب
يمكن تقديم البرامج داخل مقر المؤسسة، أو عن بُعد، أو بصيغة مدمجة بحسب جدول الفريق وموقعه وأهداف التعلم. عندما يتضمن البرنامج شهادة أو اختباراً من جهة خارجية، تبقى قواعد الشهادة ورسومها خاضعة لسياسات الجهة المانحة، بينما تقدم 4D التدريب ودعم التحضير.
لماذا البعد الرابع
تنفّذ 4D هذا البرنامج على مستخرجاتكم الفعلية: تصدير نظام تخطيط الموارد بصيغ تواريخ مختلطة، والملف الشهري الذي تتبدل عناوينه، وعملية الدمج التي تضخّم الإجماليات باستمرار. يحلل المدربون هذه الملفات مباشرة، ويعيدون بناء منطق التنظيف في pandas مع المحللين المسؤولين عنها، ويسلّمون الفريق برنامجاً نصياً مختبراً يحل محل خطوة الإصلاح اليدوي في دورة التقارير.
دورات ذات صلة
أساسيات البرمجة بلغة Python
مقدمة عملية إلى Python للمهندسين والمحللين الذين يحتاجون شيفرة تعمل فعلاً لا مقتطفات تعليمية. يكتسب المشاركون طلاقة في أنواع البيانات والمجموعات والدوال والملفات ومعالجة الأخطاء، ثم يبنون برنامجاً صغيراً يقرأ بيانات حقيقية وينتج تقريراً قابلاً للاستخدام.
View coursePython المتوسط وممارسات الشيفرة النظيفة
برنامج موجّه للمطورين الذين تعمل شيفرة Python لديهم لكن يصعب تغييرها. يغطي dataclasses والمولّدات والمزخرفات ومديري السياق وتلميحات الأنواع، ثم يطبّق خطوات إعادة الهيكلة التي تحوّل وحدة من تسعمئة سطر إلى وحدات صغيرة مختبَرة تحرسها أدوات black وruff وmypy.
View courseأتمتة المهام المكتبية والبرمجة النصية بلغة Python
برنامج موجّه للفرق التي تهدر ساعات أسبوعية في أعمال متكررة على الملفات والجداول والتقارير. يقوم المشاركون بأتمتة هذه المهام باستخدام Python: معالجة الملفات دفعياً وجداول Excel وCSV واستدعاء واجهات REST وتنبيهات البريد والمهام المجدولة التي تعمل دون إشراف وتبلّغ بوضوح عند الفشل.
View course