مقدمة

تبدأ جودة أي نموذج تنبؤ من جودة البيانات التي يتعلم منها، لا من تعقيد الخوارزمية أو عدد طبقاتها. ومن أكثر المشكلات التي قد تفسد التحليل أو تجعل النموذج يتخذ قرارات غير مستقرة وجود قيم بعيدة جداً عن النمط العام للبيانات. هنا تبرز أهمية كيف تكشف الرسوم الصندوقية عن القيم الشاذة قبل تدريب نموذج التنبؤ؟ بوصفه سؤالاً عملياً في مرحلة الاستكشاف والتنظيف المبدئي للبيانات.

الرسم الصندوقي، أو مخطط الصندوق والشوارب، أداة إحصائية بصرية تختصر توزيع المتغير العددي في عناصر واضحة: الربيعات، والوسيط، والمدى الربيعي، وحدود القيم المعتادة، والنقاط المحتملة الشذوذ. وهو لا يقرر وحده أن قيمة ما خاطئة أو يجب حذفها، لكنه يلفت انتباه محلل البيانات إلى الحالات التي تستحق التحقيق قبل إدخالها في خط أنابيب التدريب.

قد تكون القيمة الشاذة نتيجة خطأ في الإدخال، أو خلل في جهاز القياس، أو اختلاف في الوحدات، أو حدث تجاري نادر لكنه حقيقي. لذلك فإن اكتشافها مبكراً يساعد على التمييز بين الضجيج الذي ينبغي معالجته والمعلومة المهمة التي ينبغي الاحتفاظ بها. في هذا المقال سنشرح طريقة قراءة الرسوم الصندوقية، وحدودها الإحصائية، وكيفية توظيفها ضمن سير عمل مسؤول لبناء نماذج التنبؤ.

ما القيم الشاذة ولماذا تؤثر في نماذج التنبؤ؟

القيمة الشاذة هي ملاحظة تختلف بدرجة ملحوظة عن معظم الملاحظات الأخرى في المتغير نفسه. فإذا كانت رواتب غالبية الموظفين بين 6,000 و25,000 ريال شهرياً، وظهرت قيمة قدرها 2,500,000 ريال، فقد تكون هذه القيمة حالة صحيحة لرئيس تنفيذي، أو رقماً أُدخل سنوياً بدلاً من شهرياً، أو خطأً ناتجاً من إضافة صفر زائد. لا يمكن للحكم البصري وحده أن يحدد السبب، لكنه يضع هذه الملاحظة في قائمة المراجعة.

تؤثر القيم الشاذة في الإحصاءات التقليدية، ولا سيما المتوسط والانحراف المعياري. فالمتوسط حساس للقيم المتطرفة، وقد يتحرك بعيداً عن المستوى الذي يمثل غالبية السجلات. وإذا استُخدم المتوسط في التعويض عن القيم المفقودة أو في التطبيع، فقد ينتقل أثر القيمة الشاذة إلى بيانات أخرى. كما أن الانحراف المعياري المتضخم قد يجعل بعض الإجراءات الإحصائية أقل قدرة على اكتشاف قيم غير طبيعية لاحقة.

أما في التعلم الآلي، فتختلف درجة التأثر بحسب الخوارزمية. فالانحدار الخطي والانحدار اللوجستي وشبكات الأعصاب وخوارزميات الجار الأقرب قد تتأثر كثيراً بالقيم شديدة البعد، خصوصاً عند استخدام دوال خسارة تعتمد على مربع الخطأ. وقد يحاول النموذج تقليل خطأ عدد محدود من الحالات المتطرفة على حساب دقة التنبؤ بالكتلة الأساسية من البيانات. في المقابل، تكون بعض النماذج الشجرية أكثر تحملاً نسبياً، لكنها ليست محصنة من أخطاء القياس أو من وجود متغيرات ذات نطاقات غير منطقية.

ولا تعني القيمة الشاذة دائماً مشكلة. ففي نموذج لاكتشاف الاحتيال، قد تكون العملية النادرة ذات المبلغ المرتفع هي بالضبط الإشارة التي نريد من النموذج تعلمها. لذلك فإن الهدف ليس حذف كل نقطة خارج النطاق، بل فهم مصدرها وعلاقتها بهدف التنبؤ والسياق التشغيلي.

كيف يعمل الرسم الصندوقي إحصائياً؟

يعتمد الرسم الصندوقي على الربيعات، وهي نقاط تقسم البيانات المرتبة إلى أجزاء. الربيع الأول، ويرمز له غالباً بـ Q1، هو القيمة التي يقع دونها نحو 25% من البيانات. والربيع الثالث Q3 هو القيمة التي يقع دونها نحو 75% من البيانات. أما الخط داخل الصندوق فهو الوسيط، أي القيمة التي تقسم البيانات إلى نصفين متساويين تقريباً.

يمتد الصندوق من Q1 إلى Q3، وبالتالي فهو يمثل النصف الأوسط من البيانات. ويسمى الفرق بينهما المدى الربيعي، ويحسب وفق المعادلة الآتية:

IQR = Q3 - Q1

الميزة المهمة للمدى الربيعي أنه أكثر مقاومة للقيم المتطرفة من المتوسط والانحراف المعياري. فبدلاً من الاعتماد على أطراف التوزيع، يركز على 50% الوسطى من الملاحظات. ولهذا السبب يعد مناسباً لاستكشاف بيانات الأعمال والمعاملات والسجلات التشغيلية التي لا تتبع في كثير من الأحيان توزيعاً طبيعياً مثالياً.

تظهر الشوارب في الرسم الصندوقي لتبين نطاق القيم التي تعد معتادة وفق قاعدة إحصائية محددة. أما النقاط الواقعة وراء الشوارب فتعرض عادة كدوائر أو علامات منفصلة، وتسمى قيماً شاذة محتملة. وكلمة “محتملة” جوهرية هنا: الرسم يطبق قاعدة رقمية ثابتة، لكنه لا يعرف إن كانت القيمة خطأً أو حدثاً حقيقياً أو فئة مختلفة من العملاء.

قاعدة 1.5 للمدى الربيعي وقراءة الشوارب

أكثر القواعد شيوعاً في الرسوم الصندوقية هي قاعدة 1.5 من المدى الربيعي. وتحسب الحدود النظرية للقيم غير المعتادة كما يأتي:

الحد الأدنى = Q1 - 1.5 × IQR
الحد الأعلى = Q3 + 1.5 × IQR

وأي قيمة أقل من الحد الأدنى أو أكبر من الحد الأعلى تعد مرشحاً للفحص بوصفها قيمة شاذة. لكن الشارب لا يمتد بالضرورة إلى الحد النظري نفسه؛ بل يمتد في معظم المكتبات الإحصائية إلى أبعد قيمة موجودة في البيانات لكنها ما تزال داخل هذا الحد. أما الملاحظات التي تتجاوزه فتظهر منفصلة.

لنفترض أن بيانات زمن تسليم الطلبات أعطت Q1 يساوي يومين وQ3 يساوي خمسة أيام. يصبح المدى الربيعي ثلاثة أيام، ويكون الحد الأعلى النظري 9.5 أيام. عند ظهور طلب استغرق 37 يوماً، فسيعرضه الرسم غالباً كنقطة منفصلة. الخطوة الصحيحة ليست حذفه مباشرة، بل فحص سجل الطلب: هل كان العنوان خاطئاً؟ هل شمل فترة إجازة طويلة؟ هل هو طلب دولي ينتمي إلى عملية لوجستية مختلفة؟

ينبغي أيضاً الانتباه إلى أن قاعدة 1.5 هي اصطلاح عملي وليست قانوناً مطلقاً. قد يستخدم المحلل معامل 3 بدلاً من 1.5 عند البحث عن القيم المتطرفة جداً، أو قد يضبط القاعدة وفق حساسية المجال. في بيانات طبية أو مالية، قد تكون الملاحظة النادرة ذات قيمة عالية حتى لو تجاوزت الحد؛ بينما قد تكون قيمة درجة الحرارة السالبة في مستشعر يعمل داخل مصنع مغلق إشارة مباشرة إلى عطل في الجهاز.

خطوات عملية لفحص البيانات قبل التدريب

يكون الرسم الصندوقي أكثر فائدة عندما يندمج في عملية استكشاف منظمة، لا عندما يستخدم كصورة منفصلة في تقرير. تبدأ العملية بتحديد المتغيرات العددية ذات الصلة بالنموذج، مثل العمر والدخل وقيمة الطلب وعدد الزيارات ومدة الاستخدام. ثم يرسم مخطط صندوقي لكل متغير على حدة، لأن المتغيرات تختلف في وحداتها ونطاقاتها.

بعد تحديد النقاط الواقعة خارج الحدود، ينبغي فحص السجلات الأصلية لا الرسم فقط. من المفيد إنشاء جدول يضم معرف السجل والقيمة والحدين الأدنى والأعلى ومصدر البيانات وتاريخ الالتقاط. بهذه الطريقة يمكن ربط الشذوذ بسياقه التشغيلي. فقد تظهر مثلاً كل القيم غير المعتادة في يوم واحد، مما يشير إلى عطل في عملية الاستيراد، أو في فرع محدد، مما يشير إلى اختلاف وحدة القياس.

تأتي بعد ذلك مرحلة التصنيف: أخطاء مؤكدة، وقيم صحيحة لكنها نادرة، وقيم تحتاج مراجعة. الأخطاء المؤكدة قد تصحح من المصدر إن أمكن. أما القيم الصحيحة النادرة فقد تحتفظ بها مع إضافة متغير يصف فئتها أو مع تحويل المتغير. والقيم غير القابلة للتحقق يمكن التعامل معها بسياسة موثقة، مثل قصها عند حدود محددة أو استخدام أساليب تقدير مقاومة للشذوذ.

من الضروري تنفيذ هذه الخطوات بطريقة تمنع تسرب المعلومات. يجب تقسيم البيانات إلى تدريب واختبار أولاً، ثم حساب الربيعات وحدود الشذوذ من بيانات التدريب فقط. بعد ذلك تطبق الحدود المستخرجة على بيانات التحقق والاختبار. حساب الحدود من كامل البيانات قبل التقسيم قد يسمح لمعلومات مجموعة الاختبار بالتأثير في معالجة التدريب، وهو ما يعطي تقديراً متفائلاً زائفاً لأداء النموذج.

مثال برمجي لرسم المخطط واستخراج القيم المرشحة

يوضح المثال التالي استخدام لغة بايثون لاكتشاف القيم المرشحة للشذوذ في عمود يمثل قيمة الطلب. يجمع المثال بين الحساب الصريح للحدود والرسم البصري، لأن الاعتماد على أحدهما دون الآخر لا يوفر فهماً كاملاً للبيانات.

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

df = pd.read_csv("orders.csv")

q1 = df["order_value"].quantile(0.25)
q3 = df["order_value"].quantile(0.75)
iqr = q3 - q1

lower_bound = q1 - 1.5 * iqr
upper_bound = q3 + 1.5 * iqr

outliers = df[
    (df["order_value"] < lower_bound) |
    (df["order_value"] > upper_bound)
].copy()

print("الحد الأدنى:", lower_bound)
print("الحد الأعلى:", upper_bound)
print(outliers[["order_id", "order_value"]])

sns.boxplot(x=df["order_value"])
plt.title("توزيع قيمة الطلب")
plt.show()

لا ينبغي أن تتحول قائمة outliers إلى قائمة حذف تلقائي. يمكن توسيعها بإضافة أعمدة مثل الدولة، وفئة المنتج، وطريقة الدفع، ووقت الطلب، ثم مقارنة القيم الشاذة ببقية السجلات. إذا كانت الطلبات الكبيرة مرتبطة دائماً بعملاء الشركات، فقد يكون من الأفضل إنشاء متغير يميز نوع العميل أو تدريب نموذج منفصل لهذه الشريحة بدلاً من التخلص من بيانات صحيحة.

كما يفيد رسم مخطط صندوقي مقسم حسب فئة مهمة، مثل المنطقة أو نوع العميل. فقد تبدو قيمة ما شاذة عند مقارنة جميع العملاء معاً، لكنها تكون طبيعية تماماً ضمن فئة العملاء المؤسسيين. هذا يوضح أن الشذوذ ليس صفة ثابتة للقيمة، بل نتيجة مقارنة ضمن توزيع وسياق محددين.

قرارات المعالجة وحدود الرسوم الصندوقية

بعد الفحص، توجد عدة بدائل للمعالجة. أولها التصحيح من المصدر عندما يثبت وجود خطأ، مثل تحويل قيمة مكتوبة بالسنتيمترات إلى قيمة بالمتر أو معالجة تاريخ أُدخل بصيغة خاطئة. وهذا أفضل من الحذف لأنه يحافظ على السجل الحقيقي. البديل الثاني هو الحذف، لكنه مناسب فقط عندما تكون الملاحظة غير موثوقة ولا يمكن إصلاحها، وعندما لا يؤدي حذفها إلى تحيز في العينة.

البديل الثالث هو القص، أي استبدال القيم التي تتجاوز الحد الأعلى أو الأدنى بالحد نفسه أو بنسبة مئوية محددة. قد يحسن ذلك استقرار بعض النماذج، لكنه يخفي الفروق بين القيم الكبيرة، ولذلك يجب توثيقه واختبار أثره على مؤشرات الأداء. ويمكن أيضاً استخدام تحويل لوغاريتمي للمتغيرات الموجبة شديدة الانحراف، مثل الإيرادات وعدد المتابعين، لتقليل تأثير الذيل الطويل دون حذف السجلات.

من الخيارات الأخرى استخدام خوارزميات ونماذج أكثر مقاومة للقيم الشاذة، مثل الانحدار القوي أو استخدام الوسيط في بعض عمليات التعويض، أو اعتماد مقاييس خسارة أقل حساسية من مربع الخطأ. ويجب مقارنة أداء النموذج قبل المعالجة وبعدها على مجموعة تحقق مستقلة، مع مراقبة أثر القرار في الفئات المختلفة.

وللرسوم الصندوقية حدود مهمة. فهي تكشف الشذوذ أحادي المتغير، أي أنها تفحص كل عمود منفرداً. قد تكون قيمة عمر العميل ودخله طبيعية كل على حدة، لكن اجتماعهما في سجل معين غير منطقي، وهذه حالة شذوذ متعدد المتغيرات لا يكتشفها الرسم الصندوقي وحده. كذلك قد يحدد الرسم عدداً كبيراً من القيم في التوزيعات الملتوية بوصفها شاذة رغم أنها جزء طبيعي من الذيل. لذلك ينبغي دعمه بالرسوم المبعثرة، والتحليل حسب الفئات، وخبرة المجال، وأساليب مثل عزل الغابات عند الحاجة.

خاتمة

تكشف الرسوم الصندوقية عن القيم الشاذة عبر تلخيص توزيع البيانات في الربيعات والوسيط والمدى الربيعي، ثم إبراز الملاحظات التي تقع خارج الحدود المعتادة. هذه البساطة تجعلها أداة ممتازة في مرحلة الاستكشاف قبل تدريب نموذج التنبؤ، إذ تساعد على اكتشاف أخطاء الإدخال والقياس والوحدات والأنماط النادرة التي قد تؤثر في النموذج.

ومع ذلك، لا ينبغي معاملة كل نقطة منفصلة في الرسم بوصفها خطأً يجب حذفه. القرار السليم يبدأ بالتحقيق في مصدر القيمة وسياقها وعلاقتها بهدف العمل، ثم اختبار أثر أي معالجة باستخدام بيانات تدريب وتحقق مفصولة بصورة صحيحة. عندما تستخدم الرسوم الصندوقية كأداة للفهم لا كأداة للحذف الآلي، تصبح خطوة فعالة نحو بيانات أنظف ونماذج تنبؤية أكثر دقة وموثوقية.