عرض لورقة حول أفضل الممارسات لتقارير أبحاث المسوح: ملخصًا للكٌتاب والمراجعين من فريق مؤسسة جسر: أ. دعاء أحمد سليمان

قدم كل من جولين ريرسون دروجاليس وستيفن جويل كونز هذه الورقة التي تتناول الممارسات التي من شأنها أن تحسن من نوعية تقارير البحوث المسحية المنشورة في الأدبيات التي تخضع للمراجعة والتحكيم. توضح الورقة أن السبب في الجودة الرديئة للتقارير يرجع إلى مشكلتين أساسيتين وهما: كتابة تقارير غير كفء لبحوث مسحية دقيقة، وسوء تصميم أو تنفيذ المسح بغض النظر عن جودة التقرير. وتوضح هذه الورقة أن مصطلح “مسح” مقصود به طريقة البحث، أما مصطلح “استبيان” فمقصود به أداة المسح أو أداة جمع البيانات، ولذلك لا يجب أن تستخدم مصطلحات المسح والاستبيان بشكل تبادلي.

تعرض هذه الورقة قائمة مرجعية وتوصيات للكُتاب والمراجعين لاستخدامها عند تقديم أو تقييم التقارير التي تقوم بعرض نتائج أبحاث المسوح التي استخدمت الاستبيان كأداة أساسية لجمع البيانات. ومن الجدير بالذكر أن هذه الورقة تهتم فقط بأبحاث المسح التي تستند في جمع البيانات إلى البريد والبريد الإلكتروني والإنترنت فقط. واعتمدت هذه الورقة على نسخة معدلة من الأسئلة التوجيهية العشرة التي تم وضعها في أفضل الممارسات للمسوح وبحوث الرأي العام من قبل الجمعية الأمريكية لأبحاث الرأي العام، لتكون بمثابة دليل للمراجعين والباحثين على حدٍ سواء للتعرف على سمات المسح الجيد.

وكانت الأسئلة الإرشادية العشرة التي قامت الورقة بتقديمهم بما تتضمن من إجراءات كالتالي:

السؤال الأول: هل هناك سؤال بحثي محدد بوضوح؟

تعتمد صياغة أسئلة البحث وأهداف الدراسة على الدراسات السابقة وآخر ما توصلت إليه، ولهذا تعد مراجعة الدراسات المنشورة عن الموضوع جزءًا مهمًا من عملية إعداد البحث. ولذلك يجب أن يحدد التقرير بوضوح سبب إجراء البحث والهدف منه، ومن المهم أيضًا تحديد ما إذا كان قد تم النظر في بدائل استخدام منهج البحث المسحي، من خلال طرح سؤال عما إذا كان يمكن الحصول على المعلومات بشكل أفضل باستخدام منهجية مختلفة.

السؤال الثاني: هل تم اختيار عينات تمثل بشكل جيد المجموعة المراد دراستها؟

تنطوي البحوث المسحية على جمع بيانات من مجموعة فرعية أو عينة من الأفراد بهدف تمثيل المجتمع الذي يتم دراسته، ونظرًا لأن البيانات التي يتم الحصول عليها من العينة يتم تعميمها على المجتمع المستهدف ككل، يجب تحديد المجتمع المستهدف بوضوح حتى يمكن اختيار العينة بشكل سليم. ويجب أن يكون إطار العينة قريبا من مجموع المجتمع المستهدف.

ويأتي بعد اختيار إطار العينة، تحديد نوع العينة التي سيتم استخدامها ما إذا كانت عينة احتمالية مثل العينة العشوائية البسيطة أو الطبقية أو عينة غير احتمالية مثل عينة كرة الثلج وعينة الحصص، ويفضل استخدام العينة الاحتمالية حتى يمكن تعميم نتائج المسح على المجموعة المستهدفة بمصداقية، لأنها تضمن تمثيل المجتمع بشكل أكثر دقة.

ويجب على كاتبي تقارير أبحاث المسح وصف المنهجية التي استخدموها لتقدير حجم العينة.

السؤال الثالث: هل تم استخدام تصميمات توازن بين تكاليف المسح والأخطاء المسموح بها؟

يتناول التوازن بين تكاليف المسح والأخطاء إجراء تقييم واقعي للموارد اللازمة لإجراء الدراسة، ويشمل هذا التقييم الموارد النقدية والبشرية. ولذلك فإن المفاضلة ضرورية، والمقصود بالمفاضلة هنا هي تقليل أو فقدان ميزة واحدة من جانب، مقابل المكاسب في جوانب أخرى، فعلى سبيل المثال المفاضلة بين الاعتماد على عينة كبيرة ولكن مع متابعة غير كافية مقابل الاعتماد على عينة تمثيلية أصغر وأكثر استهدافًا للمستجيبين مع متابعات أكثر.

السؤال الرابع: هل تم وصف أداة البحث؟

ينبغي وصف أداة المسح أو الاستبيان المستخدم في البحث وصفا كاملا. ولذلك، في حالة استخدام استبيان مٌصمم مسبقا، ينبغي تقديم أدلة على الخصائص السيكومترية (psychometric properties) التي تشير إلى موثوقية (Reliability) وصلاحية (Validity) الأداة، حيث تشير الموثوقية إلى الاتساق، بينما تشير الصلاحية إلى دقة النتائج والتي تساعد في إجراء التنبؤ، وإلى أن الاستبيان يقيس المتغير أو المتغيرات بطريقة قابلة للتكرار، وما إذا كانت أداة المسح تقيس ما تنوي قياسه بالفعل أم أنها تنتج بيانات زائفة.

وبالإضافة إلى ذلك، ينبغي وصف نموذج قياس الاستبيان (أي نوع المقياس المستخدم داخل الاستبيان) بالتفصيل الكافي لتمكين القارئ من فهم معنى الدرجات الناتجة وتفسيرها. وعند إدراج أسئلة مفتوحة أو كيفية في الاستبيان، يجب تقديم وصف واضح لكيف تم تلخيص البيانات النصية الناتجة وترميزها وتحليلها وعرضها.

أما في حالة استحداث استبيان جديد، ينبغي تقديم وصف كامل لتطويره واختباره. وكما هو الحال بالنسبة للاستبيان المصمم مسبقا، ينبغي أن يقدم الباحثون بوضوح أدلة تدعم موثوقية وصلاحية الاستبيان الجديد.

السؤال الخامس: هل تم اختبار الأداة مسبقًا؟

غالبًا ما يتم إجراء الاختبار القبلي (Pretesting) مع مجموعة تركيز لتحديد الأسئلة أو الصياغة الغامضة أو التعليمات غير الواضحة أو غيرها من المشاكل في أداة المسح قبل نشرها على نطاق واسع. يعتبر الاختبار القبلي أمرًا بالغ الأهمية لأنه يوفر معلومات قيمة حول القضايا المتعلقة بالموثوقية والصلاحية من خلال تحديد المشكلات المحتملة قبل جمع البيانات. ومن أبرز الطرق المستخدمة لاختبار أسئلة المسح هي المقابلات المعرفية (Cognitive Interviewing) التي تعمل على اختبار الاستبيانات لاستكشاف الطريقة التي يفهم بها أفراد المجتمع المستهدف العناصر الواردة في الاستبيان ويعالجونها عقليًا ويجيبون عنها.

وتعتمد الاختبارات القبلية على استخدام التحقق اللفظي من قبل المحاور أو الباحث، بمعنى أن يطلب المحاور من المجيب التعبير عن كل ما يخطر على ذهنه أثناء إجابته على السؤال. حيث تساعد هذه التقنية في تحديد ما إذا كان المستجيبون يفسرون الأسئلة والإجابات كما هو مقصود من مصمم الاستبيان أم لا. كما يمكن من خلالها تقييم سهولة إدارة الاستبيان وطوله وسهولة الاستجابة والقبول لدى المجيبين. ويجب على المؤلفين أن يصفوا بوضوح كيف تم اختبار أداة المسح.

السؤال السادس: هل تم وصف إجراءات مراقبة الجودة؟

يجب أن يوضح التقرير في قسم المنهجية ما إذا تم استخدام إجراءات مثل استبعاد أو تخطي البنود (الإجراءات التي يتم استخدامها لتوجيه المجيبين للإجابة على العناصر التي تتوافق مع إجاباتهم السابقة فقط) في أداة المسح. ويجب أن يصف التقرير أيضًا ما إذا كان تم استخدام ملف الترميز (وهو الذي يحتوي على قائمة الرموز المستخدمة للإشارة إلى المتغيرات وقيمها) لإدخال البيانات وتنظيمها، وما هي إجراءات التحقق من البيانات المستخدمة، وإجراءات التحقق من القيم المتطرفة أو الشاذة من البيانات وشرح إجراءات التعامل مع البيانات المفقودة.

السؤال السابع: هل كان معدل الاستجابة كافيا لتعميم النتائج على المجموعة المستهدفة؟

بوجه عام، يمكن تعريف معدل الاستجابة بأنه عدد المجيبين مقسوما على عدد الأشخاص المؤهلين في العينة الذين تم إرسال المسح إليهم.

يجب التمييز بين المعدل العام للاستجابة ومعدلات الاستجابة على مستوى البنود أو الأسئلة. حيث يمكن أن تكون معدلات الاستجابة المنخفضة جدًا على البنود الفردية في الاستبيان مشكلة، خاصة إذا كانت تمثل متغيرات دراسية مهمة.

لا يوجد معيار متفق عليه لمعدلات الاستجابة المقبولة، ومع ذلك يمكن أن يؤدي انخفاض معدل الاستجابة إلى تحيز الاستجابة أو خطأ في عدم الاستجابة. وعلى الرغم من أن الدراسات الحديثة أظهرت أن الدراسات الاستقصائية ذات معدلات الاستجابة المنخفضة لديها قياسات أكثر دقة مقارنة بالدراسات الاستقصائية ذات معدلات الاستجابة الأعلى، إلا أنه يتم تفضيل معدل الاستجابة المرتفع من عينة عشوائية صغيرة على معدل الاستجابة المنخفض من عينة كبيرة.

لذلك، من الضروري أن يصمم الباحثون منهجية المسح الخاصة بهم لتحسين معدلات الاستجابة. ولكي تكون أبحاث المسح المنشورة ذات مصداقية، يجب أن تفي بالمستويات المقبولة من الدقة العلمية، خاصة فيما يتعلق بشفافية معدل الاستجابة وتمثيل نتائج الدراسة أو قابليتها للتعميم.

السؤال الثامن: هل الأساليب الإحصائية والتحليلية وإعداد التقارير مناسبة للبيانات التي تم جمعها؟

يجب أن يوضح تقرير المسح البرامجلإحصائية المستخدمة والأسلوب الإحصائي المطبق على المتغيرات، ويجب اتخاذ قرارات مناسبة بشأن كيفية عرض البيانات، على سبيل المثال، استخدام المخطط الدائري ((Pie Chart لعرض ملخصات بسيطة للبيانات بدلا من استخدام المخططات الخطية (Line Charts)، وإذا كان الاستبيان يتضمن عناصر كيفية (مثل الأسئلة المفتوحة)، فينبغي تقديم وصف دقيق لكيفية ترميز الاستجابات النصية من أجل تحليلها.

السؤال التاسع: هل تم توفير دليل على المعاملة الأخلاقية للأشخاص؟

 هناك العديد من البحوث المسحية -خاصة تلك التي يتم فيها جمع البيانات عن طريق الإنترنت أو البريد الإلكتروني- التي لم تعرض أي دليل على أنه تم معاملة المستجيبين بشكل أخلاقي، على سبيل المثال وليس الحصر، عدم تقديم تقديرات لوقت الاستطلاع والمخاطر والفوائد المتصور أن تعود على المجيبين خلال دعوتهم للمشاركة، ووضع أسئلة يلزم الإجابة عليها في الاستبيان مما ينتهك حق الشخص في رفض الإجابة على أي من الأسئلة أو جميعها.

ولذلك يجب على المؤلفين توضيح الموافقات التي حصلوا عليها، ومن أي مجلس للمراجعة المؤسسية حصلوا على الموافقة، وكيف تم الحصول على الموافقة.

السؤال العاشر: هل كان كاتبي التقرير واضحين في عرضهم لضمان تقييم البحث وتكراره؟

يجب على المؤلفين تحديد منهجيتهم بالكامل وتقديم تقرير بتفاصيل كافية بحيث يمكن لباحث آخر تكرار الدراسة. ويتم تطبيق هذا الاعتبار في الأقسام التسعة السابقة.

اعتبارات إضافية فيما يتعلق بالإنترنت أو المسوح على شبكة الإنترنت

توضح هذه الورقة أن استخدام المسوح القائمة على الإنترنت أو البريد الإلكتروني زادت شعبيتها كطريقة مقترحة أقل تكلفة وأكثر فاعلية لإجراء أبحاث المسح. ومن الممكن أن تعطي السهولة المفترضة في جمع البيانات الانطباع بأن البحث المسحي يمكن إجراؤه بسهولة.

وهناك بعض المشكلات المحتملة المرتبطة باستخدام المسوح على شبكة الإنترنت وتتمثل في إجابة المستجيبين على موضوعات غير سليمة أو غير مرغوب فيها نظرًا لعدم وجود باحث مع المجيبين أثناء ملء الاستبيان. وتعاني المسوح على شبكة الإنترنت أيضًا من مشاكل محتملة مع رسائل البريد الإلكتروني غير القابلة للتسليم بسبب قوائم عناوين قديمة أو بريد إلكتروني غير صحيح، مما يؤثر على حساب معدل الاستجابة.

ويجب على المؤلفين أن يصفوا بالتحديد كيف تم نشر أداة المسح (على سبيل المثال: عن طريق بريد إلكتروني مع رابط للمسح) وما هي أداة المسح على شبكة الإنترنت التي تم استخدامها.

وفي النهاية، فقد قامت هذه الورقة بتقديم 10 أسئلة توجيهية وتوصيات بشأن ما تعتبره أفضل الممارسات لتقارير أبحاث المسح على أمل أن تقدم إرشادات تؤدي إلى تحسين جودة التقارير المنشورة لأبحاث المسح القائمة على الاستبيانات، مطالبة من كل من الباحثين/المؤلفين والمراجعين النظر بجدية في الدقة التي يجب استهدافها في تصميم وإجراء وإعداد تقارير أبحاث المسح بحيث تعكس النتائج المراد عرضها أو تقديمها بشكل موثوق للمجموعة المستهدفة وتكون مساهمة حقيقية في الأدبيات العلمية، وقد تم تلخيص كل الأسئلة الإرشادية بالنقاط التي تتضمنها إلى مجموعة معايير لكتابة تقارير البحوث المسحية كالآتي:

1. هل كان هناك سؤال بحث محدد بوضوح؟
   • هل أهداف الدراسة محددة بوضوح؟
   • هل تم النظر في بدائل لاستخدام تقنية المسح لجمع البيانات؟ (على سبيل المثال، هل برروا استخدام مناهج البحث المسحي؟)
2. هل تم اختيار عينات تمثل بشكل جيد المجموعة المراد دراستها؟
   • ما هي طرق سحب العينة التي تم استخدامها؟
   • هل تم تقديم وصفًا لكيفية التغطية وأخطاء سحب العينة إلى الحد الأدنى؟
   • هل تم وصف عملية تقدير حجم العينة؟
3. هل تم استخدم تصميمات توازن بين تكاليف المسح والأخطاء المسموح بها؟ (على سبيل المثال، إجراء تعداد سكاني شامل مع متابعة غير كافية مقابل عينة أصغر ولكن مع متابعة قوية)
4. هل تم وصف أداة البحث؟
   • هل تم تقديم دليل بشأن موثوقية وصلاحية أداة مُصممة مسبقا؟
   • كيف تم تطوير أداة جديدة وتقييمها من حيث الموثوقية والصلاحية؟
   • هل تم وصف نوع المقياس المستخدم في الأداة بشكل كافٍ؟
5. هل تم اختبار الأداة مسبقًا؟
   • هل تم وصف الإجراء المستخدم للاختبار القبلي للأداة؟
6. هل تم وصف إجراءات مراقبة الجودة؟
   • هل تم استخدام ملف الترميز؟
   • هل تم مناقشة التقنيات المستخدمة للتحقق من إدخال البيانات بشكل سليم؟
7. هل كان معدل الاستجابة كافيا لتعميم النتائج على المجموعة المستهدفة؟
   • ما هو معدل الاستجابة؟
   • كيف تم حساب معدل الاستجابة؟
   • هل تم التخطيط لعمليات المتابعة واستخدامها؟
   • هل هناك معالجة للتحيز المحتمل لعدم الاستجابة؟
8. هل الأساليب الإحصائية والتحليلية وإعداد التقارير مناسبة للبيانات التي تم جمعها؟
9. هل تم تقديم دليل على المعاملة الأخلاقية للأشخاص؟
   • هل تم إدراج مجلس المراجعة المؤسسية (IRB) التي حصلوا على الموافقة منه؟
   • هل تم تقديم شرح عن كيفية الحصول على الموافقة؟
10. هل كان كاتبي التقرير واضحين في عرضهم لضمان تقييم البحث وتكراره؟
    • هل تم تقديم دليل على صحة المسح؟
    • هل تم تقديم دليل على موثوقية المسح؟
    • هل كانت النتائج قابلة للتعميم؟
    • هل ممكن تكرار المسح بالنظر إلى المعلومات المقدمة؟