الدوال الأساسية في التعلم الآلي

الموجز

الدوال الأساسية في التعلُّم الآلي (Fundamental Functions in Machine Learning) تشير إلى مجموعة من الأدوات الرياضية التي تُستخدم في تدريب النماذج التنبؤية (Predictive models) لتحسين أدائها. تُستخدم هذه الدوال في تطبيقات متعددة، مثل: تصنيف الصور، وتحليل النصوص، والتنبؤ بالقيم العددية، إذ يسهم اختيارها في تعزيز كفاءة النموذج ودقّته. تشمل أبرز هذه الدوال: دالة الخسارة (Loss Function) التي تقيس مقدار الخطأ في التنبؤ؛ ودالة السيجمويد (Sigmoid Function) التي تُستخدم بوصفها دالة تفعيل (Activation function) في الشبكات العصبية.

أنواعها وأدوات تقييم الأداء

تُعَدّ دالة الخسارة من أبرز دوال التعلُّم الآلي، إذ تُستخدم لقياس الفارق بين القيم المتنبّأ بها (Predicted values) والقيم الحقيقية القيم الحقيقية{{القيم الحقيقية: (Ground truth values) القيم الفعلية أو المرجعية للبيانات، التي تمثّل النتائج الصحيحة في مجموعة البيانات، وتُستخدم أساسًا لمقارنة تنبؤات النموذج وتقييم دقته في أثناء التدريب (Training) أو الاختبار (Test).}} في أثناء التدريب {{التدريب: (Training) عملية تعلّم النموذج من البيانات عبر تعديل مُعلَّماته تدريجيًا بهدف تقليل الخطأ وتحسين دقة التنبؤ.}}، ويُستفاد من هذا القياس في توجيه عملية التعلّم وتقليل الخطأ تدريجيًا[1]. تختلف دوال الخسارة تبعًا لطبيعة المهمة، فتُستخدم بعض الدوال في مهمات التصنيف (Classification) مثل خسارة الأنتروبيا التقاطعية (Cross-Entropy Loss)، في حين أن دوالَّ أخرى تُستخدم في مهمات الانحدار (Regression)[2] مثل خسارة متوسّط الخطأ التربيعي (Mean Squared Error loss).

تشمل الدوال الأساسية أيضًا دوال التفعيل، ومنها: دالة السيجمويد التي تُحوِّل القيم المتصلة إلى احتمالات تقع بين 0-1[3]، ما يجعلها مناسبة لمهمات التصنيف الثنائي (Binary Classification)؛ ودالة سوفت ماكس (Softmax Function) التي تُستخدم في مهمات التصنيف متعدد الفئات (Multi-Label Classification) لتقدير احتمالات الانتماء إلى أصناف مختلفة[4]. يرتبط فهم هذه الدوال بأدوات تقييم الأداء، مثل مصفوفة الالتباس (Confusion Matrix) التي تُستخدم لتحليل جودة التنبؤات في نماذج التصنيف[5]. ويسهم التكامل بين هذه العناصر في تطوير نماذج تعلّم آلي أكثر كفاءة ودقة.

• دالة الخسارة
  

تُعرف دالة الخسارة أيضًا بدالة الخطأ أو دالة التكلفة (cost function)، وهي مكوّن أساسي في خوارزميات التعلم الآلي الموجّه (Supervised Machine Learning)[6]؛ فعند بناء نموذج تنبؤي يعتمد على بيانات سابقة، تحدِّد السّمات السمات {{السمات:(Features) متغيّرات تمثّل خصائص البيانات المدخلة إلى النموذج، وتُستخدم لوصف العيّنات وتمكين النموذج من التعلّم والتنبؤ.}} التي تمثّل المتغيّرات المستقلّة (Independent Variable)، وتحدِّد كذلك القيمة المستهدفة للتنبؤ (Target Value)، التي تمثّل المتغيّر التابع (Dependent Variable)[7].

في أثناء عملية التعلم الآلي (Machine Learning)، تُستخدم دالة الخسارة لقياس الفارق بين القيم التي يتنبَّأ بها النموذج والقيم الحقيقية للمتغيّر التابع. ويُعَدّ هذا الفارق مؤشرًا على مقدار الخطأ المستخدَم في توجيه عملية التدريب وتحسين أداء النموذج.

تعتمد خوارزميات التعلم الآلي على تعلّم مُعلَّمات المُعلَّمات {{المُعلَّمات: (Parameters) قيم عددية داخل النموذج تُتعلَّم من البيانات في أثناء التدريب مثل الأوزان والانحيازات، وتحدِّد كيفية تحويل المدخلات إلى مخرجات.}} النموذج، مثل الأوزان والانحيازات (weights and biases). وتُستخدم دوال التفعيل في الشبكات العصبية (Neural Networks) لتحديد مخرجات الخلايا العصبية (Neurons)[8]. خلال التدريب، تُضبط مُعلَّمات النموذج عبر دورات تدريبية الدورات التدريبية {{الدورات التدريبية: (Epochs) عدد المرّات التي يمرّ فيها النموذج على كامل مجموعة بيانات التدريب في أثناء عملية التعلّم، بهدف تحديث مُعلَّماته وتحسين أدائه.}} تشمل الانتشار الأمامي (Forward Propagation) والانتشار العكسي (Back Propagation)، إذ يُقاس الخطأ باستخدام دالة الخسارة، ثم تُستخدم خوارزمية الانحدار التدريجي (Gradient Descent) لضبط المُعلَّمات وتقليل الخطأ تدريجيًا[9].

تَحسِب دالة الخسارة الخطأ لكل عينة، بينما تحسب دالة التكلفة متوسط الخطأ لجميع العيّنات. وترتبط دالة الخسارة مباشرةً بتنبؤات النموذج، إذ يشير انخفاض قيمتها إلى تحسّن أداء النموذج وقدرته على التعميم. تُستخدم دالة الخسارة بوصفها هدفًا للتحسين في أثناء التدريب، حتى يتحقّق استقرار الأداء[10].

يمكن تصنيف دوال الخسارة إلى فئتَيْن رئيستَيْن: دوال الخسارة للتصنيف (Classification Loss Function)؛ ودوال الخسارة للانحدار (Regression Loss Functions). بالنسبة للتصنيف، تكون مخرجات النموذج قِيمًا تصنيفية (Categorical Values)، ويُعبَّر عنها غالبًا باحتمالات انتماء العينة إلى كل صنف؛ أما بالنسبة للانحدار، فتكون مخرجات النموذج قيمة عددية متصلة (Continuous Values) تُعبِّر عن القيمة المتنبَّأ بها[11].

دوال الخسارة للتصنيف

خسارة الأنتروبيا التقاطعية أو الخسارة اللوغاريتمية

[الشكل1]

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

تُعَدّ خسارة الأنتروبيا التقاطعية (Cross Entropy Loss) من أكثر دوال الخسارة استخدامًا في مهمات التصنيف، فهي تُستخدم لقياس الفرق بين التوزيع الاحتمالي التوزيع الاحتمالي {{التوزيع الاحتمالي:: (Probability distribution) تمثيل رياضي يوضّح كيفية توزّع احتمالات القيم أو الأصناف الممكنة للبيانات، بحيث يحدّد احتمال كل قيمة أو صنف.}} المتنبَّأ به والتوزيع الحقيقي للأصناف (Ground truth class distribution)، إذ تنخفض قيمتها عندما يقترب التوزيع المتنبَّأ به من التوزيع الحقيقي، ما يشير إلى تحسّن أداء النموذج (الشكل 1)[12].

التصنيف الثنائي

في التصنيف الثنائي (Binary Classification)، تُقسم البيانات إلى فئتَيْن متميزتَيْن، ثم يتنبّأ النموذجُ باحتمال انتماء العيّنة إلى إحدى هاتَيْن الفئتَيْن. تُستخدم خسارة الأنتروبيا التقاطعية الثنائية (Binary Cross Entropy Loss) لتقييم الفرق بين التنبؤات والقيم الحقيقية، وفقًا للمعادلة الآتية:

\[L=-\frac{1}{m}\sum_{i=1}^{m} \left(y_{i}\cdot\log (\hat{y}_{i})+\left(1-y_{i}\right)\cdot\log (1 - \hat{y}_{i})\right)\]

حيث يمثّل \(m\) عدد العيّنات في مجموعة بيانات التدريب، ويمثّل \(y_{i}\) القيمة الحقيقية للصنف للعيّنة \(i\) (0 أو 1)، بينما يمثّل \(\hat{y}_{i}\) الاحتمال المتنبَّأ به لانتماء العينة \(i\) إلى الصنف الإيجابي. تشير القيم المرتفعة لـ \(\hat{y}_{i}\) إلى ثقة أكبر في التنبّؤ الصحيح، بينما تشير القيم المنخفضة إلى العكس[13].

التصنيف متعدد الفئات

في التصنيف متعدد الفئات (Multi-Class Classification)، تُقسَّم البيانات إلى أكثر من فئة واحدة، ويُحدِّد النموذج الفئة الصحيحة من بين عدّة فئات محتملة. ومن أمثلته تصنيف أنواع الحيوانات إلى عدة فئات مثل: قطة، وكلب، وأرنب. تُستخدم خسارة الأنتروبيا المتقاطعة متعددة الفئات (Multi-Class Cross-Entropy) لقياس الفرق بين التوزيع الحقيقي للفئات ( \(y\)) والتوزيع الاحتمالي المتنبَّأ به ( \(p\)) وفقًا للمعادلة الآتية:

\[L=-\frac{1}{m}\sum_{i=1}^{m} \sum_{c=1}^{C} y_{i,c}\log (p_{i,c})\]

حيث يمثّل \(m\) عدد العيّنات في مجموعة بيانات التدريب، و \(C\) عدد الفئات (Classes)، و \(y_{i,c}\) مؤشّر انتماء العينة \(i\) إلى الفئة \(c\) وفق ترميز وان-هوت وان-هوت {{وان-هوت: (One-Hot) تقنية لتحويل المتغيّرات الفئوية إلى تمثيل عددي عبر إنشاء عمود ثنائي لكل فئة، حيث يشير 1 إلى وجود الفئة و0 إلى غيابها.}}، بينما يمثّل \(p_{i,c}\) الاحتمال المتنبَّأ به (بين 0-1) لانتماء العيّنة رقم \(i\) إلى الفئة \(c\) ( \(1\leq c\leq C\))، بحيث يكون مجموع الاحتمالات عبر جميع الفئات مساويًا لواحد[14].

الخسارة المفصلية

تُعَدّ الخسارة المفصلية (Hinge Loss) من دوال الخسارة المستخدمة في التصنيف الثنائي، وتُعَدّ بديلًا لدالة خسارة الأنتروبيا التقاطعية. تُستخدم هذه الدالة بشكل خاص مع مصنّفات آلة المُتّجهات الداعمة (Support Vector Machines)، حيث تأخذ الأصناف قيمًا مقدارها -1 أو +1. تهدف هذه الخسارة إلى إيجاد الحد الفاصل الأمثل {{الحدّ الفاصل الأمثل: (Optimal hyperplane) سطح قرار يفصل بين الفئات في فضاء البيانات، بحيث يحقّق أفضل تمييز ممكن بينها، غالبًا عبر تعظيم المسافة بين هذا الحد وأقرب نقاط البيانات من كل فئة.}} الذي يفصل بين الفئتَيْن، مع زيادة المسافة بين هذا الحد وأقرب نقاط البيانات[15].

تُعرف الخسارة المفصلية بالمعادلة:

\[L=\max \left(0, 1-y\cdot f\left(x\right)\right)\]

حيث يمثّل \(y\) القيمة الحقيقية للصنف (إما +1 وإما -1 للتصنيف الثنائي)، و \(f(x)\) القيمة المتنبَّأ بها من النموذج للعيّنة \(x\).

[الشكل2]

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

تزداد قيمة الخسارة عندما يكون التنبؤ خاطئًا أو غير واثق، إذ تكون \(y\cdot f\left(x\right)\leq 0\)، ما يشير إلى خطأ في التصنيف. كذلك تزداد الخسارة للتنبؤات الصحيحة ذات الهامش {{الهامش: (Margin) المسافة الفاصلة بين الحدّ الفاصل ونقاط البيانات الأقرب إليه من كل فئة، التي يُستخدَم تعظيمها لتحسين قدرة النموذج على التعميم وتقليل أخطاء التصنيف.}} الصغير، أي عندما يكون \(0. وعندما يكون \(y\cdot f\left(x\right)<1\) تُفرض خسارة موجبة تعكس نقص الهامش؛ بينما تصبح الخسارة صفرًا عندما يكون \(y\cdot f\left(x\right)\geq 1\)، ما يدلّ على تصنيف صحيح بهامش كافٍ[16].

دوال الخسارة للانحدار

خسارة متوسّط الخطأ التربيعي

تُعَدّ دالة خسارة متوسط الخطأ التربيعي من أكثر دوال الخسارة استخدامًا في مهمات الانحدار، حيث تكون مخرجات النموذج قِيمًا عددية متصلة، مثل التنبؤ بأسعار الأسهم أو درجات الحرارة. وتقيس هذه الدالة متوسّط مربّعات الفروق بين القِيَم المتنبَّأ بها والقيم الحقيقية لكل العيّنات. تُعطي هذه الخسارة قيمًا أكبر للأخطاء الكبيرة مقارنة بالأخطاء الصغيرة نتيجة عملية التربيع[17].

تُعرّف خسارة متوسط الخطأ التربيعي كما يأتي:

\[MSE=\frac{1}{m}\sum_{i=1}^{m} (\hat{y}_{i}-y_{i})^{2}\]

حيث يُمثّل \(m\) عدد العيّنات في مجموعة البيانات، و \(y_{i}\) القيمة الحقيقية للعينة رقم \(i\)، و \(\hat{y}_{i}\) القيمة المتنبَّأ بها للعينة رقم \(i\).

ويُظهِر تمثيلُها البياني (الشكل 3) منحنًى تربيعيًا يزداد مع ازدياد الخطأ، عبر نطاق من القيم المتنبّأ بها للقيمة الحقيقية 100.

‫[الشكل 3]‬

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

تتّسم هذه الخسارة بحساسيتها للقيم الشاذة القيم الشاذة {{القيم الشاذة:: (Outliers) قيم في البيانات تختلف بشكل ملحوظ عن معظم القيم الأخرى. وقد تَنتُج من أخطاء قياس أو حالات نادرة أو سلوك غير اعتيادي.}}، ذلك لأنها تعتمد على تربيع الفروق، ما يؤدي إلى تضخيم تأثير الأخطاء الكبيرة بين القيم المتنبَّأ بها والقيم الحقيقية. وقد يؤثر ذلك في أداء النموذج عند وجود عدد كبير من القيم الشاذة[18].

خسارة متوسّط الخطأ المطلق

تُعرف دالة خسارة متوسط الخطأ المطلق (Mean Absolute Error) بأنها متوسّط الفرق المطلق بين القيم المتنبَّأ بها والقيم الحقيقية لجميع العيّنات. تُعَدّ هذه الدالة ثاني أكثر دوال الخسارة استخدامًا في مهمات الانحدار[19]، وتُعرّف وفق المعادلة:

\[MAE=\frac{1}{m}\sum_{i=1}^{m} |y_{i}-\hat{y}_{i}|\]

حيث يمثّل \(m\) عدد العيّنات في مجموعة البيانات، و \(y_{i}\) القيمة الحقيقية للعينة رقم \(i\)، و \(\hat{y}_{i}\) القيمة المتنبَّأ بها للعينة رقم \(i\).

ويُظهِر تمثيلُها البياني (الشكل 4) منحنًى خطيًا يزداد مع ازدياد مقدار الخطأ، عبر نطاقٍ من القيم المتنبَّأ بها للقيمة الحقيقية 100.

‫[الشكل 4]‬

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

تقيس هذه الدالة متوسّط حجم الأخطاء في مجموعة من التنبؤات من دون النظر إلى اتجاهاتها، وتتّسم بمتانة نسبية تجاه القيم الشاذة مقارنةً بخسارة متوسط الخطأ التربيعي، نظرًا لعدم تضخيم الأخطاء الكبيرة[20].

خسارة هوبير أو خسارة متوسّط الخطأ المطلق السلس

تُعرف دالة خسارة هوبير (Huber Loss) بأنها دالة خسارة تجمع بين خصائص خسارة متوسّط الخطأ التربيعي وخسارة متوسط الخطأ المطلق، إذ تتصرّف بوصفها خسارة متوسط الخطأ التربيعي عند الأخطاء الصغيرة، وبوصفها خسارة متوسط الخطأ المطلق عند الأخطاء الكبيرة. يعتمد هذا الانتقال على المُعامِل (Parameter) دلتا \(\delta \)، الذي يحدّد حدَّ التحوّل بين السلوكَيْن[21].

\[L_{\delta }\left(y,\hat{y}\right)=\begin{cases} \frac{1}{2}(y-\hat{y})^{2} for |y-\hat{y}|\leq \delta \\ \delta \left|y-\hat{y}\right|-\frac{1}{2}\delta^{2} otherwise \end{cases}\]

ويُظهِر تمثيلُها البياني (الشكل 5) انتقالًا سلسًا بين السلوك التربيعي والخطي (باللون: ثلاث قيم لـ \(\delta \)).

‫[الشكل 5]‬

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

يؤثر اختيار قيمة \(\delta \) في حساسية الخسارة للقيم الشاذة، إذ تؤدي القيم الصغيرة إلى تقليل تأثير الأخطاء الكبيرة، بينما يؤدي اختيار قيم كبيرة إلى سلوك أقرب إلى خسارة متوسّط الخطأ التربيعي للأخطاء الصغيرة والمتوسطة. وبذلك، تحقِّق خسارة هوبير توازنًا بين دقة الخسارة التربيعية ومتانة الخسارة المطلقة[22].

خسارة لوغ- كوش

تُعرَف دالة خسارة لوغ- كوش (Log- Cosh Loss) بأنها اللوغاريتم الطبيعي لجيب التمام الزائدي (Hyperbolic Cosine) لخطأ التنبؤ. وتُستخدم في نماذج الانحدار لِما تتميّز به من سلوك سلس مقارنةً بخسارة متوسط الخطأ التربيعي. وهي تتصرّف بوصفها سلوكًا تربيعيًا عند الأخطاء الصغيرة، وبوصفها سلوكًا خطيًا عند الأخطاء الكبيرة، ما يمنحها متانة نسبية في التعامل مع القيم الشاذة. وتشترك مع خسارة هوبير في الجمع بين دقة الخسارة التربيعية ومتانة الخسارة الخطية، إذ تتميّز بأنها قابلة للاشتقاق (Differentiable) مرتَيْن في جميع النقاط، ما يجعلها مناسبة لبعض خوارزميات التحسين اخوارزميات التحسين {{خوارزميات التحسين: (Optimization algorithms) طرائق حسابية تُستخدم لتحديث مُعلَّمات النموذج بهدف تقليل دالة الخسارة وتحسين الأداء في أثناء التدريب، مثل خوارزمية الانحدار التدريجي، وخوارزمية آدم (Adam)، وخوارزمية RMSProp.}} من الدرجة الثانية، مثل الخوارزميات التي تعتمد على تقريب نيوتن، ومنها بعض تطبيقات إكس جي بوست (XGBoost)[23].

وتُعرَّف وفق المعادلة:

\[L(y,\hat{y})=\sum_{i=1}^{m} \log (\\cos h (\hat{y}-y_{i}))\]

حيث يمثّل \(y_{i}\) القيمة الحقيقية للعينة رقم \(i\)، و \(\hat{y}\) القيمة المتنبَّأ بها للعينة رقم \(i\)، بينما تمثّل \(\\cos h \) دالة جيب التمام الزائدي.

وعندما يكون الخطأ صغيرًا تقترب \(\log (\\cos h \left(x\right) )\) من \(\frac{x^{2}}{2}\)، بينما تقترب من \(∣x∣-\log (2)\) عند الأخطاء الكبيرة. وبذلك، تتصرّف الخسارة بشكل مشابه لخسارة متوسط الخطأ التربيعي عند الأخطاء الصغيرة، مع تقليل تأثير الأخطاء الكبيرة مقارنةً بالخسارة التربيعية.

ويُظهِر تمثيلُها البياني (الشكل 6) انتقالًا سلسًا بين السلوك التربيعي والخطي.

‫[الشكل 6]‬

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

وعلى خلاف خسارة هوبير، لا تتطلّب خسارة لوغ- كوش ضبط مُعامِل الانتقال 𝛿، إذ يمكن أن يؤدّي اختياره بشكل خاطئ إلى تراجعٍ في الأداء[24].

خسارة نقاط التجزيء

تُعرف خسارة نقاط التجزيء (Quantile Loss) بأنها قيم تقسِّم البيانات إلى أجزاء وفق نسب مُحدَّدة من التوزيع، حيث تمثِّل قيمة التجزيء \(\gamma \) حدًا تكون نسبة \(\gamma \) من القيم أقلَّ منه، فعند \(\gamma \)=0.25 تكون نسبة 25 في المئة من القيم أقلّ من هذه النقطة، و75 في المئة أعلى منها.

تُستخدَم خسارة نقاط التجزيء في مهمات الانحدار لتقدير قيم تجزيئية مُحدَّدة من توزيع الهدف، ما يسمح للنموذج بالتنبؤ بنقاط مثل الربع الأدنى (25%) أو الأعلى (75%)[25].

وتُعرَّف وفق المعادلة:

‫[الشكل 7]‬

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

\[L_{\gamma }(y,\hat{y})=\sum_{i:y_{i}<\hat{y}_{i}}^{} (1-\gamma )\cdot|y_{i}-\hat{y}_{i}| +\sum_{i:y_{i}\geq \hat{y}_{i}}^{} (\gamma )\cdot|y_{i}-\hat{y}_{i}|\]

حيث يمثّل \(y_{i}\) القيمة الحقيقية للعينة رقم \(i\)، و \(\hat{y}_{i}\) القيمة المتنبَّأ بها للعينة رقم \(i\)، بينما يمثّل \(\gamma \) مستوى التجزيء المراد تقديره (يتراوح بين 0 و1، مثلًا \(\gamma \) = 0.25 للتجزيء 25%).

تفرِض الخسارة عقوبة غير متناظرة تعتمد على قيمة \(\gamma \)، بحيث تختلف شدة العقوبة عند المبالغة أو التقليل في التنبؤ، ما يسمح بتقدير حدود توزيع البيانات بدلًا من قيمة متوقَّعة واحدة.

ويُظهر تمثيلُها البياني (الشكل 7) تغيّر شكل الخسارة باختلاف مستويات التجزيء (0.25، و0.5، و0.75)[26].

أهمية دالات الخسارة في التعلم الآلي

تُعَدّ دوال الخسارة مكوّنًا أساسيًا في التعلم الآلي، حيث تُستخدم في تقييم أداء النموذج مع البيانات المُتاحة وقدرته على التنبؤ. وخلال التدريب، تمثّل دوال الخسارة إشارة خطأ تُستخدَم لضبط معلَّمات النموذج بهدف تقليل الخطأ وتحسين الأداء.

كذلك تسهم في تحقيق توازن التحيّز والتباين (Bias–Variance Trade-off)، ما يساعد في تجنب كلٍّ من نقص التعلم (underfitting) بحيث يعجز النموذج عن فهم الأنماط في البيانات، وفرط التعلم (overfitting) بحيث يصبح النموذج غير قادر على التعميم مع بيانات جديدة. ويؤثر اختيار نوع دالة الخسارة في سلوك النموذج، مثل قدرته على التعامل مع القيم الشاذة أو التركيز على أنواع محددة من الأخطاء. وبذلك، تمثّل دوال الخسارة آلية مركزية لتحسين النماذج وتعزيز قدرتها على التعميم[27].

دوال التفعيل

دالة التفعيل في الشبكات العصبية هي دالة رياضية تُطبَّق على مجموع مدخلات الخلية العصبية لإدخال عنصر اللاخطية (Non-Linearity) في الشبكات العصبية، ما يمكّنها من تمثيل العلاقات المعقّدة. من دون هذه الدوال، تصبح الشبكة متعدّدة الطبقات مكافِئةً لنموذج خطي (linear regression). تعمل دالة التفعيل على تحويل الإشارة الداخلة إلى خرج غير خطي يحدِّد درجة تفعيل الخلية العصبية، ومن أبرز أمثلتها دالة السيجمويد ودالة سوفت ماكس[28].

دالة السيجمويد

‫[الشكل 8]‬

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

دالة السيجمويد هي دالة لوجستية (logistic function) يُشار إليها بـ \(\sigma (x)\) أو \(sig(x)\)، وتُستخدَم بوصفها دالة تفعيل في الشبكات العصبية، ولا سيما في مهمّات التصنيف الثنائي لتحويل القيم المستمرّة إلى احتمالات بين 0 و1، ما يجعلها مناسبة للتنبؤ بفرص انتماء العينة إلى صنف مُعيَّن[29]. تُعرّف الدالة وفقًا للمعادلة:

\[\sigma (x)=\frac{1}{1+e^{-x}}\]

حيث يُمثّل \(x\) المدخل إلى الدالة و \(e\) أساس اللوغاريتم الطبيعي.

[الشكل 9]

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

ويتميّز تمثيلُها البياني (الشكل 8) بمنحنًى على شكل حرف S.

الخصائص:

• المجال: (-∞, +∞).
• المدى: (0, 1).
• عندما تكون \(x\) كبيرة موجبة تقترب \(\sigma (x)\) من 1.
• عندما تكون \(x\) كبيرة سالبة تقترب \(\sigma (x)\) من 0.
• عند \(x=0 \): \(\sigma (x)=0.5\)..
• الدالة أحادية التزايد (Monotically Increasing).
• الدالة متصلة (Continous Function) وقابلة للاشتقاق في جميع النقاط.

تُستخدَم السيجمويد غالبًا مع خسارة الأنتروبيا التقاطعية، إذ تُحوِّل مخرجات النموذج إلى احتمالات تُقارَن بالقيم الحقيقية في أثناء التدريب[30].

تُطبَّق دالة التفعيل على مجموع المدخلات الموزونة (Weights Input) للخلية العصبية، ويُستخدَم خرجها مُدخَلًا للطبقة التالية (الشكل 9).

أهمية دالة السيجمويد في التعلم الآلي

الفصل غير الخطي

تسهم دالة السيجمويد في تمكين النماذج من تمثيل حدود قرار غير خطية، ما يسمح بالتعامل مع مشكلات التصنيف المعقّدة. وتكون المشكلة قابلة للفصل خطيًا (Linear Classification) عندما يمكن استخدام خط مستقيم أو مستوى فائق (Hyperplane) للفصل بين الفئات؛ بينما تكون غير قابلة للفصل خطيًا عندما يتطلّب الفصل حدود قرار غير خطية (الشكل 10)[31].

‫[الشكل 10]‬

حذف الصورة؟

سيؤدي هذا إلى نقل الصورة إلى سلة المهملات.

حذف إلغاء

في الفضاءات متعددة الأبعاد، يُستخدم المستوى الفائق لوصف حدود القرار الخطية. أما عند استخدام دوال تفعيل خطية فقط، تصبح الشبكة العصبية مكافئة لنموذج خطي. يَسمح إدخال طبقات مخفية الطبقات المخفية {{الطبقات المخفية: (Hidden layers): طبقات تقع بين طبقتَي الإدخال والإخراج في الشبكة العصبية، تعمل على استخلاص الأنماط والتمثيلات الوسيطة للبيانات عبر تطبيق عمليات تحويل غير خطية.}} مع دوال تفعيل غير خطية مثل السيجمويد بتمثيل حدود قرار غير خطية، ما يمكّن الشبكات العصبية من تعلّم الدوال المعقّدة[32].

لا يُشترط أن تكون دالة التفعيل رتيبة {{دالة التفعيل الرتيبة: (Monotonic function) دالة يزداد خرجها أو ينقص باستمرار من دون تغيير الاتجاه عبر مجالها.}}، إذ توجد دوال غير رتيبة يمكن استخدامها مثل \(\sin (x)\) أو \(\cos (x) \)، لكن تُفضَّل الدوال ذات الخصائص الاشتقاقية المناسبة لضمان استقرار التدريب. ويعتمد استقرار التعلّم أساسًا على خصائص مثل قابلية الاشتقاق واستمرارية الدالة، ما يسهم في تحديثات المُعلَّمات بكفاءة في أثناء الانتشار العكسي.

تُستخدم خوارزمية الانتشار العكسي مع خوارزميات التحسين القائمة على الانحدار التدريجي لضبط مُعلَّمات الشبكة العصبية. وتعتمد هذه العملية على حساب مشتقّات (Derivatives) دوال التفعيل لنشر الخطأ عبر طبقات الشبكة.

تتميّز دالة السيجمويد بأنها مستمرة وقابلة للاشتقاق، ويمكنها كذلك التعبير عن مشتقّتها بنفسها، ما يسهّل حساب التدرّجات وتحديث المُعلَّمات في أثناء التدريب باستخدام خوارزمية الانتشار العكسي[33].

دالة سوفت ماكس

دالة سوفت ماكس هي دالة تُستخدم بشكل شائع في مهمات التصنيف المتعدد، حيث تُحوِّل مجموعةً من القيم المستمرّة إلى توزيع احتمالي على الأصناف، على النحو الذي يكون فيه مجموع هذه الاحتمالات يساوي 1. وتُستخدم غالبًا في طبقة الإخراج {{طبقة الإخراج: (Output layer) الطبقة الأخيرة في الشبكة العصبية التي تُنتِج التنبؤ النهائي للنموذج، مثل احتمال الانتماء إلى صنف أو قيمة عددية متوقَّعة.}} من الشبكات العصبية للتصنيف المتعدّد، حيث تساعد في تحديد الصنف الأكثر احتمالًا للعينة[34].

وتُعرّف كما يأتي:

\[\sigma (z)_{i}=\frac{e^{z_{i}}}{\sum_{j=1}^{m} e^{z_{j}}}\]

حيث يمثّل \(z\) متّجه القيم المدخلة (Logits)، و \(m\) عدد الأصناف، و \(\sigma (z)_{i}\) الاحتمال المتنبَّأ به للصنف \(i\).

على سبيل المثال، إذا كانت مخرجات نموذج تصنيف الصور بين قطة وكلب وأرنب هي \((2.0, 1.0, 0.1)\)، فإن تطبيق سوفت ماكس يُنتِج توزيعًا احتماليًا على الأصناف.

باحتساب القيم الأُسّية:

\[e^{2.0}\approx 7.39\]

\[e^{1.0}\approx 2.72\]

\[e^{0.1}\approx 1.11\]

ثم مجموعها:

\[7.39+2.72+1.11\approx 11.22\]

ومن ثم الاحتمالات:

\[P\left(طق\right)= \frac{7.39}{11.22} \approx 0.66\]

\[P(بلك) = \frac{2.72}{11.22} \approx 0.24\]

\[P(بنرأ) = \frac{1.11}{11.22} \approx 0.10\]

أهمية دالة سوفت ماكس

تُستخدَم دالة سوفت ماكس لتحويل مخرجات النموذج إلى توزيع احتمالي قابل للتفسير، ما يتيح تحديد الصنف الأكثر احتمالًا. وعند استخدامها مع دالة خسارة الأنتروبيا التقاطعية، تُستخدم لمقارنة التوزيع الاحتمالي المتنبَّأ به بالتوزيع الحقيقي، ولتحديث مُعلَّمات النموذج في أثناء التدريب.

تُعَدّ دالة سوفت ماكس مكوّنًا أساسيًا في نماذج التصنيف المتعدّد، إذ تُستخدم لتقدير احتمالات الانتماء إلى عدة فئات، ولدعم عملية اتخاذ القرار بناءً على التنبؤات الاحتمالية[35].

• مصفوفة الالتباس

مصفوفة الالتباس هي أداة تقييم تُستخدم لقياس أداء نماذج التصنيف من خلال عرض عدد التنبؤات الصحيحة والخاطئة لكل صنف. تتكوّن المصفوفة من صفوف تمثّل القيم الحقيقية وأعمدة تمثّل القيم المتنبَّأ بها.

على سبيل المثال، في تصنيف ثنائي (قطط/ كلاب) يمكن تمثيل النتائج كما يأتي:

يمثّل القطر الرئيس التنبؤات الصحيحة، بينما تمثّل القيم خارج القطر الأخطاء التصنيفية.

تُستخدم مصفوفة الالتباس لاشتقاق مقاييس أداء إضافية، منها:

1. الدقة (Accuracy): نسبة التنبؤات الصحيحة إلى إجمالي التنبؤات.

2. الإحكام (Precision): نسبة التنبؤات الإيجابية الصحيحة إلى جميع التنبؤات الإيجابية.

3. الاستدعاء (Recall): نسبة التنبؤات الإيجابية الصحيحة إلى الحالات الإيجابية الحقيقية.

4. مقياس إف 1 (F1 Score): المتوسط التوافقي للإحكام والاستدعاء.

وتسهم هذه المقاييس في تحليل أداء النموذج عبر أنواع الأخطاء المختلفة[36].

المراجع

Brownlee, Jason. “A Gentle Introduction to the Sigmoid Function.” Machine Learning Mastery. 18/8/2021. at: https://acr.ps/hByaQvL

Gupta, Sparsh. “7 Common Loss Functions in Machine Learning.” Built In. 11/8/2025. at: https://acr.ps/hByaQOW

Li, Caiyi, Kaishuai Liu & Shuai Liu. “A Survey of Loss Functions in Deep Learning.” Mathematics. vol. 13, issue 15 (2025). p. 2417.

“Softmax Activation Function in Neural Networks.” GeeksforGeeks. 17/11/2025. at: https://acr.ps/hByaR4z

“Understanding the Confusion Matrix in Machine Learning.” GeeksforGeeks. 23/1/2026. at: https://acr.ps/hByaQLo

[1] Caiyi Li, Kaishuai Liu & Shuai Liu, “A Survey of Loss Functions in Deep Learning,” Mathematics, vol. 13, issue 15 (2025). p. 2417.

[2] Sparsh Gupta, “7 Common Loss Functions in Machine Learning,” Built In, 11/8/2025, accessed on 1/6/2026, at: https://acr.ps/hByaQOW

[3] Jason Brownlee, “A Gentle Introduction to the Sigmoid Function,” Machine Learning Mastery, 18/8/2021, accessed on 1/6/2026, at: https://acr.ps/hByaQvL

[4] “Softmax Activation Function in Neural Networks,” GeeksforGeeks, 17/11/2025, accessed on 1/6/2026, at: https://acr.ps/hByaR4z

[5] “Understanding the Confusion Matrix in Machine Learning,” GeeksforGeeks, 23/1/2026, accessed on 1/6/2026, at: https://acr.ps/hByaQLo

[6] Li, Liu & Liu, op. cit.

[7] Gupta, op. cit.

[8] Brownlee, op. cit.

[9] Gupta, op. cit.

[10] Ibid.

[11] Ibid.

[12] Ibid.

[13] Ibid.

[14] Li, Liu & Liu, op. cit.

[15] Gupta, op. cit.

[16] Ibid.

[17] Ibid.

[18] Ibid.

[19] Ibid.

[20] Ibid.

[21] Ibid.

[22] Ibid.

[23] Ibid.

[24] Ibid.

[25] Ibid.

[26] Ibid.

[27] Li, Liu & Liu, op. cit.

[28] Brownlee, op. cit.

[29] Ibid.

[30] Ibid.

[31] Ibid.

[32] Ibid.

[33] Ibid.

[34] "Softmax Activation Function in Neural Networks."

[35] Ibid.

[36] "Understanding the Confusion Matrix in Machine Learning."