إن الاختبار القبلي هو أحد الخطوات شديدة الأهمية في دورة عمل إجراء الاستطلاعات، حيث تؤثر جودة الاستمارة المصممة، على جودة باقي الخطوات التي تليها، وبالتالي فإن الاختبار الكافي للاستمارة، ومعالجة عيوبها هو من أهم الخطوات التي يجب أن ينتبه إليها كل العاملين في استطلاعات الرأي العام.

تعريف الاختبار القبلي

هو عملية تتم من أجل تحديد رد فعل العينة المستهدفة على أسئلة الاستطلاع وبالتالي تعديل الاستمارة قبل إجراء الاستطلاع في شكله النهائي (Flanagan et al., undated). وبذلك، فإن الاختبار القبلي يوفر الوقت والتكلفة حيث يضمن أن المجتمع المستهدف يفهم جيدا الأسئلة التي سيتم إلقائها، حيث أن تصحيح الخطأ بعد بدء الاستطلاع يعد أمرا مكلفا جدا.

ومن المفضل أن يتم إجراء الاختبار القبلي أكثر من مرة – في حالة تعديل الاستمارة بشكل كبير- وذلك لاختبار ما تم من تغييرات حتى يتم الوصول إلى الاستمارة النهائية.

أهداف الاختبار القبلي

هناك أهداف عديدة من إجراء الاختبار القبلي، حيث يتم من خلاله تحديد المشاكل التي قد تؤثر على مصداقية ودقة الإجابات التي يتم الحصول عليها من المبحوثين، كما يتم التأكد من أن أهداف الاستطلاع سيتم تحقيقها. وتعد أهم أهداف الاختبار القبلي بشكل ملخص (Czaja, 1998) هي التعرف على المشاكل المتعلقة بـ:

• الباحث والتي قد تؤثر على أدائه. وعادة ما تتركز هذه المشاكل في وجود صعوبة لدى الباحث في نطق الكلمات أو قراءة جمل بعينها، أو عدم قدرة الباحثين على قراءة السؤال كما هو مكتوب بل يضطرون إلى ترك بعض الكلمات وصياغة الأسئلة بصورة أخرى حتى يتمكنوا من إيصال الفكرة للمبحوث أو أية مشاكل أخرى تؤدي إلى وجود صعوبة على الباحث في القيام بمهامه. كما يمكن عن طريق الاختبار القبلي التأكد من أساليب التحقق المناسبة والمحايدة وبالتالي تعميمها في الاستطلاع الأصلي.
• المبحوث والتي قد تؤثر على دقة إجاباته ومصداقيتها. فقد يجد المبحوثون صعوبة في استيعاب الكلمات، المصطلحات أو المفاهيم أو قد لا يهتم بموضوع الاستطلاع، لذلك فمصمم الاستمارة يحاول من خلال الاختبار القبلي أن يرى ما إذا كان المبحوثون يفهمون الأسئلة، وبدائلها، وهل يفهمونها كما يقصد الباحث، وهل يضطر المبحوثون إلى استخدام فئات أو بدائل إجابات مختلفة عن تلك المقدمة في الاستمارة، وأخيرا هل يهتم المبحوثون بالأسئلة ولديهم الرغبة في الإجابة عليها.
• العينة المستهدفة وإجراءات المعاينة، حيث يساعد الاختبار القبلي على التأكد من عدم وجود مشاكل مع اكتمال ودقة إطار المعاينة، كما يساعد على تحديد معدل الاستجابة، وما إذا كان يشير لأية مشاكل محتملة.
• تكويد وتحليل النتائج، حيث يساعد الاختبار القبلي على معرفة ما إذا كانت إجابات المبحوثين تقع في الإجابات التي تم تصميمها من قبل، وما إذا كان من الصعب ترميز الأسئلة وترميز الإجابات على الأسئلة المفتوحة، وهل يمكن إنشاء تصنيفات إجابات ذات معنى من إجابات المبحوثين، كما يمكن معرفة ما إذا كان مستوى التباين بين بدائل الإجابات على كل سؤال مقبول أم لا.
• الاستمارة ككل ومدى منطقية تتابع الأسئلة بها، حيث يمكن عن طريق الاختبار القبلي التأكد من أن تتابع أقسام الاستمارة والأسئلة داخل كل قسم منطقية، وما إذا كان الترتيب مؤثر على إجابات المبحوثين، كما يتم التأكد من أن تعليمات الانتقال صحيحة.

هذا بالإضافة إلى ما يوفره الاختبار القبلي من معلومات تساهم في التحديد الدقيق لمدة الاستطلاع، والمعلومات اللازمة الواجب توافرها للباحثين لأداء عملهم على الوجه الأكمل.

أنواع الأختبار القبلي:

تنقسم أنواع الاختبار القبلي إلى نوعين، نوع معلن ونوع غير معلن (Czaja, 1998). في الاختبار القبلي المعلن، يتم إخطار المبحوثين بأن المطلوب منهم هو أكثر من مجرد الإجابة على الأسئلة في الاستمارة، حيث يطلب منهم إعادة صياغة السؤال بأسلوبهم الخاص، أو التفكير بصوت مرتفع أثناء محاولتهم الإجابة، وذلك بهدف معرفة رد الفعل الفوري للمبحوثين.

أما في الاختبار القبلي غير المعلن، فيتم إجراء الاختبار القبلي تماما مثلما سيتم الاستطلاع النهائي، أي مع نفس المجتمع المستهدف وبنفس إجراءات المعاينة، حيث يهدف هذا الأسلوب إلى اختبار عملية إجراء الاستطلاع ككل من مشاكل في الأسئلة والاستمارة، ومشاكل تتعلق بإجراءات المعاينة، والتكويد والترميز، وأسلوب إدارة الاستطلاع. وقد يتم في هذا الأسلوب إلقاء بعض الأسئلة على المبحوثين لمعرفة ردود أفعالهم تجاه الاستمارة، ولكنها تكون محدودة مقارنة بالأسلوب الأول.

ويمكن أيضا تقسيم أنواع الاختبار القبلي للاستمارة تقسيما يعتمد على توقيت إجراءه، فهناك اختبارات تتم قبل اللجوء للميدان (Pre-Pretest) مثل نظام تقييم الاستمارة، والمقابلات المعرفية، ومجموعات التركيز ومراجعات الخبراء، واختبارات تتم بعد النزول للميدان (Field Pretest) مثل تكويد تفاعلات الباحث والمبحوث، واستجوابات الباحث، واستجوابات المبحوث. ويعرض هذا القسم بشكل أكثر تفصيلا للأساليب المختلفة لاختبار الاستمارة.

– نظام تقييم الاستمارات (Questionnaire Appraisal System)

لقد تم تصميم هذا النظام في معهد مثلث الأبحاث (Research Triangle Institute) لمساعدة مصممي الاستمارات على تقييم الاستمارات المبدئية (Draft Questionnaires)، ومعرفة المشكلات بها وحلها. فمن خلال استمارة تقييم للخصائص المختلفة لأسئلة الاستمارة، يتأكد مصمم الاستمارة من عدم وجود أي مشاكل بكل سؤال من أسئلة الاستمارة (Willis & Lessler, 1999).

وهناك عدة عناصر يستخدمها هذا النظام يتم على أساسها تقييم الاستمارة، وهي مدى خلو الاستمارة من مشاكل متعلقة بالقراءة، أو التعليمات أو وضوح الأسئلة وصياغتها ومصطلحاتها. كما يتم التأكد أيضا عن طريق هذا النظام من عدم وجود افتراضات معينة مسبقة في الأسئلة عن سلوك المبحوث أو عن رأيه أو أن الأسئلة متحيزة أو تسأل عن أمور بها قدر من الحساسية. يتم أيضا من خلال هذا الأسلوب معرفة ما إذا كانت الأسئلة سهلة وبسيطة، بحيث يمكن للمبحوث أن يجيب عنها ويسترجع المعلومات اللازمة لإجابة عليها بسهولة، بالإضافة إلى معرفة ما إذا كانت بدائل الإجابات مناسبة وشاملة. ويعرض ملحق (1) للنموذج الذي يتم استخدامه في هذا الأسلوب.

 – المقابلات المعرفية/الإدراكية (Cognitive Interviews)

إن أحد أساليب اختبار الاستمارة هو أسلوب المقابلات المعرفية والذي يتم في بداية دورة تصميم الاستمارة. وفي هذا الأسلوب يطلب من المبحوث التحدث عن العملية الإدراكية والمعرفية الداخلية له، والتي يقوم من خلالها بتكوين إجاباته. بمعنى أن الباحث يطلب من المبحوثين التفكير بصوت مرتفع عما يدور بذهنهم أثناء تفسيرهم لأسئلة الاستطلاع وتكوينهم لإجاباتهم (DeMaio, Rothgeb & Hess, 1998).

ومن الجدير بالذكر أن هذا الأسلوب يعد أسلوبا معمليا أي أنه يتم بين الباحث والمبحوث بشكل فردي، داخل غرفة خاصة بهم سواء كانت بالمعمل أو في منزل المبحوث أو أحد الأماكن الخارجية الأخرى.

ويهدف هذا الأسلوب إلى التعرف على المصطلحات والمفاهيم التي لا يفهمها المبحوث، وكيفية تفسيرهم لها وهل يفسرونها كما يهدف الباحث، والتعرف على الأسئلة التي لا يستطيع المبحوثون الإجابة عليها بدقة لعدم قدرتهم على استرجاع المعلومات اللازمة للإجابة عليها، بالإضافة إلى الحصول على مقترحات من أجل تحسين الأسئلة والاستمارة.

وتعد الخلفية النظرية التي يستند إليها هذا الأسلوب، هو نموذج الاستجابة المعرفية لتورانجو (Tourangeau Cognitive Response Model) والذي يتكون من العناصر التالية (Willis, 1998):

• فهم السؤال والتواصل (Comprehension and Communication): والذي يتضمن رؤية المبحوث للهدف من السؤال، ومعنى بعض الكلمات والمصطلحات.
• استرداد المعلومات من الذاكرة عن المعلومات المطلوبة (Retrieval from Memory): والذي يتضمن معرفة الأساليب التي يستخدمها المبحوث لاستدعاء المعلومات، ومعرفة هذه المعلومات.
• عملية الحكم والتقييم أي اتخاذ القرارات (Judgment and Evaluation): ويتضمن معرفة ما إذا كان المبحوث يقوم بالجهد الكافي للإجابة على السؤال بشكل دقيق ومتكامل، ومدى رغبته في الإجابة بصدق على السؤال.
• عملية اختيار الإجابة (Response Selection): وتتضمن معرفة ما إذا كان المبحوث يستطيع تسكين إجابته ضمن بدائل الإجابات المتاحة.

ومن الناحية النظرية، فإن الباحث عادة ما يكون صامت خلال هذه العملية، ويتعامل مع المبحوث فقط من خلال أساليب تحقق أو استفسار غير موحية، من أجل أن يذكره بأن يفكر بصوت مرتفع، أو من أجل أن يستفهم بشكل أكبر عن شئ ذكره المبحوث (Willis et al, 1999). أما في التطبيق فإن المقابلات المعرفية عادة ما تكون مزيج من كون المبحوث يفكر بصوت مرتفع وما بين أن الباحث يقوم بالتحقق أو إلقاء أسئلة للاستفسار من المبحوث، فقد يقوم الباحث بالتحقق للتأكد من فهم المبحوث لبعض المفاهيم أو المصطلحات أو الأسئلة (Comprehension Probe)، أو لمعرفة قدرة المبحوثين على استرجاع المعلومات (Recall Probe)، أو للتحقق عن شئ بعينه (Specific Probe)، على سبيل المثال: لماذا أجبت بنعم عند سؤالك ما إذا كانت السجائر مضرة بالصحة، أو التحقق العام (General Probe)، على سبيل المثال: كيف توصلت على هذه الإجابة؟ أو هل كان هذا السؤال سهل أم صعب؟

ولا يتم تعميم نتائج هذا الأسلوب على المجتمع، كما لا يمكن من خلاله معرفة مشاكل المقابلة والاستمارة بشكل عام، ولكنه يوفر بيانات عن كيفية تكوين الباحثين لإجاباتهم، وأنواع الأخطاء التي قد تحدث والتي لا يوفرها أي أسلوب آخر.

– مراجعات الخبراء (Expert Review)

يعتمد هذا الأسلوب على قيام مجموعة من الخبراء (عادة ما يتراوح عددها ما بين 3 إلى 8 أشخاص) – سواء كانوا خبراء في مجال موضوع الاستطلاع أو في منهجيات استطلاع الرأي بشكل عام – بالتقييم النقدي للاستمارة ومراجعتها وتدوين ملاحظاتهم عليها في جلسة مصغرة (Czaja, 1998).

وقد يقوم الخبراء بمراجعة الاستمارة بشكل فردي، أي كل خبير بمفرده، أو في مجموعة تركيز (Focus group) تضمهم جميعا وذلك بعد قراءتهم للاستمارة، وهو ما يعد امتداد للمراجعة الفردية التي تمت (Willis et al, 1999).

تعد مراجعات الخبراء من أولى الخطوات التي تتم من أجل مراجعة الاستمارة واختبارها، حيث تتم بعد وضع النسخة الأولية (Draft Questionnaire) من الاستمارة. وهناك نوعين أساسيين من الخبراء يتم استشارتهم وطلب رأيهم في مراجعة الاستمارة:

• خبراء متخصصون في موضوع الاستمارة (Subject Matter Experts)

حيث يتم استشارة خبراء في مجال الموضوع وذلك حتى لو كان مصمم الاستمارة خبير في هذا الموضوع. ويكون دور هذا الخبير هو التأكد من تغطية كافة جوانب الموضوع المستهدف في الاستمارة بشكل كافي، وأن بدائل الإجابات الموضوعة كافية وبها حصر لمعظم الإجابات المحتملة وان الصياغات ملائمة ومناسبة للمبحوثين. وقد يكون هؤلاء الخبراء من المسؤولين الحكوميين أو الأكاديميين المتخصصين في الموضوع محل الدراسة أو إعلاميين…الخ.

وتختلف طرق الاستعانة بالخبراء، فقد يتم الاستعانة بالخبراء قبل تصميم الاستمارة أو بعد وضع الاستمارة المبدئية، كما انه قد يتم طلب ملاحظاتهم على كل سؤال بشكل تفصيلي، أو قد يتم طلب ملاحظاتهم بشكل عام على الاستمارة بدون تحديد للأسئلة.

• خبراء متخصصين في تصميم الاستمارات (Questionnaire Design Experts)

حيث يقوم هؤلاء الخبراء بالتأكد من أن الصياغة مناسبة وواضحة، بالإضافة إلى التأكد من سلامة الأسئلة وعدم وجود مشاكل في الانتقالات وأن الأسئلة سيتم فهمها وتفسيرها بشكل موحد بين كل المبحوثين.

– مجموعات التركيز (Focus Groups)

وتعد شكل من أشكال الاجتماعات تتم في فترة مبكرة من دورة تصميم الاستمارة بهدف تقييم عملية الإجابة على الأسئلة. وفي هذا الأسلوب يتم دعوة مجموعة صغيرة من أشخاص ممثلين للمجتمع المستهدف لمناقشة الموضوع، يقوم برئاسة اجتماعهم مدير حوار والذي يعمل على أن يسير الحوار في الاتجاه المطلوب.

توفر هذه المجموعات المعلومات اللازمة قبل البدء في تصميم الاستمارة ( على سبيل المثال: التعرف على كيفية تكوين الأشخاص لأفكارهم حول الموضوع، واستيعابهم للمفاهيم العامة أو المصطلحات، أو آرائهم حول حساسية أو صعوبة الأسئلة).

وتعد من أهم مميزات هذا الأسلوب هو وجود فرصة لمعرفة شكل التفاعل حول الموضوع محل البحث في إطار فترة زمنية قصيرة، بالإضافة إلى توفير معلومات قد لا تظهر إلا من خلال التفاعلات والمناقشات التي تتم داخلها، حيث يتعاون أعضاء المجموعة في صياغة أفكار وتعليقات جديدة وطرق جديدة طرق لصياغات الأسئلة والاستمارة.

 ولهذا الأسلوب أوجه قصوره أيضا، فنظرا لطبيعة مجموعات التركيز التفاعلية فإنها لا تسمح بالاختبار الجيد لما سيتم خلال المقابلة العادية كما أن الباحثين لا يملكون نفس القدرة من السيطرة على العملية كما هو الحال مع وسائل الاختبار القبلي الأخرى، فعلى سبيل المثال: قد يسيطر شخص أو اثنين في المجموعة على المناقشة، وبالتالي يحدون من مشاركة أعضاء المجموعة التركيز الآخرين، هذا بالإضافة إلى أن نتائجها لا يمكن ان تعمم ويتم بناءا على أساسها الاستطلاع الرئيسي.

– استجوابات المبحوث (Respondent Debriefing)

يشبه هذا الأسلوب المقابلات المعرفية، ولكن الفرق أنه يتم أثناء جمع البيانات في الاختبار القبلي الميداني للاستطلاع، حيث يتم إدراج بعض الأسئلة ضمن المقابلة الميدانية من أجل معرفة معلومات كمية وكيفية حول رؤية المبحوثين للأسئلة، بالإضافة إلى فهم كيفية تفسير وفهم المبحوثين للأسئلة. وقد يتم إلقاء هذه الأسئلة سواء أثناء المقابلة أو بعدها، وهو الأكثر شيوعا في هذا الأسلوب (DeMaio, Rothgeb & Hess, 1998).

وتهدف استجوابات المبحوث إلى تحديد ما إذا كانت المفاهيم والأسئلة مفهومة لدى المبحوثين بنفس الأسلوب الذي كان يهدف إليه مصممي الاستمارة ولا تتسبب في إحداث خلط لهم. ويساعد هذا الأسلوب بشكل كبير في تحديد أسباب عدم فهم المبحوثين للأسئلة، بالإضافة إلى معرفة إذا ما كان سؤال معين غير مهم وممكن عدم ضمه للاستمارة، أو أن هناك أسئلة إضافية يجب وضعها ضمن أسئلة الاستمارة من أجل بلوغ أهداف الاستطلاع وذلك من خلال معرفة مقترحات المبحوثين لضبط الاستمارة. ويتم استخدام هذا الأسلوب أيضا من أجل الحصول على معلومات عن إدراك المبحوثين لصعوبة الاستطلاع أو حساسية الأسئلة.

إن من أهم عناصر نجاح “استجوابات المبحوث” هي وجود فكرة واضحة لدى مصممي الأسئلة عن المشاكل المحتملة حتى يستطيعون وضع أسئلة جيدة للمبحوثين لمعرفة آراؤهم وأفكارهم حول الاستطلاع.

– استجوابات الباحث (Interviewer Debriefing)

تعتبر استجوابات الباحث الوسيلة الرئيسية المتعارف عليها لتقييم الاختبارات الميدانية، حيث يتم في هذا الأسلوب عمل اجتماع صغير للباحثين الذين قاموا بالاشتراك في الاختبار القبلي، لمعرفة آراؤهم في الاستمارة والأسئلة ومشاكلها بناءا على مروا به من خبرة أثناء إلقاء السؤال. ويهتم هذا الأسلوب بمعرفة مشاكل الاستمارة ككل، وأهم مشاكل كل سؤال على حدة، بالإضافة إلى معرفة مقترحات الباحثين لتعديل الاستمارة وملاحظاتهم عموما.

وعلى الرغم من أهميتها فلا تعتبر “استجوابات الباحث” أكثر الوسائل دقة بحيث يمكن الاعتماد عليها وحدها، حيث أنه فإن من الصعب معرفة إذا ما كان الباحث نفسه وإدارته للحوار هو سبب المشكلة، أم أن الاستمارة هي السبب، كما أن العدد القليل للمكالمات في الاختبار القبلي يجعل المواقف الشاذة هي التي تسترعي انتباه الباحث، وبالتالي قد يتم تضخيمها في حين أن تكرار حدوثها لم يتعد المرتين على الأكثر. وبشكل عام، فإن الباحثين قد لا يكونون دائما شديدي الدقة حول أنماط معينة من مشاكل الاستطلاع لعدة أسباب:

• صعوبة القيام بدور الباحث الذي يدير المقابلة بشكل كامل، والملاحظ الذي يقوم بتدوين ردود أفعال المبحوث وفهمه للموضوع.
• تصريح الباحث عن الأسئلة التي بها مشاكل قد يعكس تفضيله الشخصي للسؤال أكثر من عكسه لما حدث للمبحوث من ارتباك.
• أحيانا ما يقوم الباحثون أصحاب الخبرة بتغيير صياغة الأسئلة المسببة للمشاكل بدون ملاحظة أنهم فعلوا ذلك وبالتالي قد لا يلاحظون المشاكل المرتبطة بهذه الأسئلة.

وهناك عدة طرق لتعظيم الاستفادة من استجوابات الباحث (Czaja, 1998):

• “استبيانات استجواب الباحث القياسية” (Standardized Interviewer Debriefing Questionnaires): وهي تجمع معلومات كمية حول رؤية الباحثين للمشكلة، معدل انتشار المشكلة، أسباب المشكلة، والحلول المقترحة للمشكلة، ويمكن استخدامها أيضا للسؤال عن أهمية أنماط محددة من المشاكل واختبار معرفة الباحث بالمفاهيم الخاصة بالموضوع محل الدراسة، حيث يتم سؤال كل باحث الأسئلة التالية:
• هل واجهتك صعوبة في قراءة السؤال كما هو مكتوب؟
• هل السؤال به بعض المفاهيم أو الكلمات التي لا يفهمها المبحوثون؟
• هل المبحوثون وجدوا صعوبة في تذكر المعلومات أو في إعطاء إجابة على السؤال؟

ويضمن هذا الأسلوب مشاركة جميع الباحثين المشتركين في الاختبار القبلي بشكل متساوي، كما يمكن معرفة معلومات كمية عن المشاكل قبل الاجتماع بالباحثين بعد إجراؤهم للاختبار القبلي الميداني، ثم يقوم الاجتماع بالتركيز على طبيعة المشاكل وكيفية حلها.

– تكويد تفاعلات الباحث والمبحوث (Behaviour Coding)

يعد هذا الأسلوب هو أحد أهم أساليب اختبار الاستمارة وصياغتها، وقد تم استحداثه في جامعة ميشجان، بهدف متابعة وتقييم أداء الباحثين، وكأداة لتقييم عملية إلقاء السؤال والإجابة عليه بشكل عام، بالإضافة إلى تقييم أثر سلوك الباحثين على إجابات المبحوثين.

يعتمد هذا الأسلوب على تحليل سلوكيات الباحث والمبحوث وتفاعلهم سويا من خلال الاستماع إلى التسجيلات الصوتية للمقابلات التليفونية للاختبار القبلي (Burgess & Paton, 1993)، حيث يتم التكويد المنظم لكل حالة (كل مقابلة) على حدة من أجل معرفة الجوانب المختلفة لأسلوب إلقاء الباحث للأسئلة وأسلوب إجابة المبحوث، وبالتالي التعرف على الأسئلة المثيرة للمشاكل عن طريق تتبع حدوث بعض سلوكيات الباحث أو المبحوث.

وتعد الفرضية الأساسية التي يرتكز عليها هذا الأسلوب هي أن سلوكيات الباحث والمبحوث توفر ملاحظات (Insights) عن المشاكل الخاصة بصياغات الأسئلة وتنسيق الاستمارة. على سبيل المثال لو الباحث لم يقرأ السؤال كما هو مكتوب تماما، فلابد ان هناك عيب ما في صياغة السؤال كما هي مكتوبة. ولو الباحث لم يقرأ سؤال بالكامل، فقد تكون هناك مشكلة في الانتقالات. لو المبحوث قاطع الباحث قبل انتهاء السؤال من الممكن أن يكون السؤال طويل جدا. أو لو طلب المبحوث استيضاح بعض الأمور، قد تكون صياغة السؤال غير واضحة أو بها بعض المفاهيم أو العبارات التي قد لا يعرفها المبحوث ولم يتعرض لها من قبل (DeMaio, Rothgeb & Hess, 1998). وقد أشارت إحدى الدراسات أنه عند حدوث أي سلوك في أكثر من 15% من المقابلات فإن ذلك يدل على احتمال وجود مشكلة ما في السؤال (Czaja, 1998).

وإن كان هذا الأسلوب يستطيع تحديد المشكلة، فهو لا يستطيع تحديد سبب المشكلة بمفرده، ولكن يجب الرجوع للمكودين لمعرفة ذلك، والذين من الممكن أن يقوموا بتدوين ملاحظاتهم، حتى يتم التعرف على المشكلة. كما انه من الممكن الاعتماد على المعلومات التي يتم الحصول عليها من أساليب أخرى مثل استجوابات الباحث أو المبحوث لدعم المعلومات التي يتم الحصول عليها من تكويد السلوكيات الباحث والمبحوث. ويعد أحد عيوب هذا الأسلوب أيضا هو احتياجه لوقت وعمالة، حيث يقوم المكويدين بسماع كل المكالمات مرة أخرى، أي مضاعفة الوقت.

• تكويد السلوكيات بمساعدة الكمبيوتر لاستطلاعات الرأي الهاتفية

وفي بعض الأحيان قد يقوم الباحثين أنفسهم بالتكويد أثناء عملهم، للتغلب على هذه المشكلة، وإن كان هنا يتم تكويد سلوكيات المبحوث فقط، ويعد هذا الأسلوب أقل تكلفة، وهام بالنسبة لضبط الاستمارة خاصة إنه يصرف نظر الباحثين عن المشاكل الفرعية غير الهامة والتي لا يوجد لها تبرير ودعم من نتائج تكويد سلوكيات الباحث (Burgess & Paton, 1993).

وللتسهيل على الباحثين، فقد تم تطوير أسلوب لتكويد سلوكيات المبحوثين بمساعدة الكمبيوتر. وقد نشأ هذا الأسلوب كحل للصعوبة التي كانت تواجه الباحثين الذين يقع عليهم عبء إجراء المقابلة الهاتفية في الاختبار القبلي، وفي نفس الوقت ملاحظة سلوكيات المبحوث وردود أفعاله. فتسجيل هذه السلوكيات أثناء المقابلة الهاتفية تضع عبئا ثقيلا على الباحث، وتسجيلها بعد المقابلة الهاتفية، يضع احتمال إغفال أو نسيان الملاحظات (Faulbaum, 2004).

يسمح هذا الأسلوب بتكويد سلوكيات المبحوث خلال المقابلة الهاتفية بدون أن يقع أي عبء على الباحث. فالباحث يقوم بالتكويد بدون أن يقطع سير الحديث بينه وبين المبحوث. ويمكن رؤية بيانات الاختبار القبلي على شكل بياني يسمى شكل عملية المقابلة (Interview Process Graph) والذي يشبه الرسم الكهربائي للقلب، حيث يكشف عن الأسئلة التي يوجد بها مشكلة في الاستمارة.

ويعد أهم ما يؤخذ على هذا الأسلوب هو عدم معرفته لأثر الباحث على المقابلة، وما إذا كان تصرف المبحوث أو إجابته قد نتجت عن سلوكيات الباحث، ويمكن القضاء على هذا العيب باستخدام باحثين على درجة مرتفعة من التدريب، وزيادة عدد الباحثين من أجل استبعاد أثر الباحث.

المراجع:

• Bolton, Ruth N. and Tina M. Bronkhorst (1996), Questionnaire Pretesting: Computer-Assisted Coding of Concurrent Protocols, in Answering Questions: Methodology for Determining Cognitive and Communicative Processes in Survey Research, Schwarz and Sudman, eds. San Francisco, CA: Jossey-Bass Publishers, pp. 37-62.
• Burgess, M.J., and Paton, D. (1993), Coding of Respondent Behavior by Interviewers to Test questionnaire Wording, in Proceedings of the Section on Survey methods Research, Alexandria, VA: American Statistical Association, pp. 392-397
• Czaja (1998), “Questionnaire Pretesting Comes of Age”, Marketing Bulletin 9, pp. 52–66.
• Edwards, W., Narayanan, V., Fry, S., Catania, J., and Pollack, L., (2002), A Comparison of Two Behavior Coding Systems for Pretesting Questionnaires, presented at the 57th Annual conference of the American Association for Public Opinion Research, Petersburg, FL.
• Faulbaum F. (2004), “Computer Assisted Pretesting of CATI Questionnaires CAPTIQ”, Bulletin of sociological methodology, July, pp. 5-17.
• Flanagan, D., Mahler H., Shari C.(undated), How To Conduct Effective Pretest, AIDSCAP.
• Forsyth, B. H., Levin, K., & Fisher, S.K. (1999), Test of an Appraisal Method for Establishment Survey Questionnaires, Proceedings of the Section on Survey Research Methods, American Statistical Association, pp. 145-149.
• Hughes, K., (2004), Comparing Pretesting Methods: Cognitive Interviews, Respondents Debriefing, and Behaviour Coding, Statistical Research Division, S. Bureau of the Census, Washington D.C.
• Lessler, J.T. and Forsyth, B.H. (1996), A Coding System for Appraising Questionnaires, in Answering Questions: Methodology for Determining Cognitive and Communicative Processes in Survey Research, Schwarz and Sudman, eds. San Francisco.
• Mathiowetz, N., Cannell, C., (1980), Coding Interviewer Behavior as a Method of Evaluating performance, in proceeding of the section on survey research methods, pp. 525-528, American Statistical Association, Washington D.C.
• Presser, J., and Blair, J. (1994). “Survey Pretesting: Do Different Methods Produce Different Results?”, in P.V.Marsden (ed.), Sociological Methodology, Vol. 24,Washington, DC: American Sociological Association.
• Presser, S., Couper, M.P., Lessler, J.T., Martin, E., Martin, J., Rothgeb, J.M., Singer, E. (2004), “Methods For Testing And Evaluating Survey Questions”, Public Opinion Quarterly, pp. 68:109-130.
• Ramirez, C. (2002), Strategies For Subject Matter Expert Review In Questionnaire Design., Questionnaire Design, Evaluation and Testing Conference, Charleston, SC.
• Rothgeb J, Willis G, Forsyth BH. (2001), Questionnaire Pretesting Methods: Do Different Techniques And Different Organizations Produce Similar Results?, US Census Bureau, Proceedings of the Annual meeting of the American Statistical Association.
• Theresa J. DeMaio, Jennifer Rothgeb, Jennifer Hess, Improving Survey Quality Through Pretesting, S. Bureau of the Census, 1998.
• Willis G. B. (1999), Cognitive Interviewing: a “how to” guide”, Research Triangle Park, NC: Research Triangle Institute
• Willis, G. B., & Lessler, J. T., (1999). Question Appraisal System QAS-99. Retrieved December 5, 2006, from the National Cancer Institute Web site: http://appliedresearch.cancer.gov/areas/cognitive/qas99.pdf.
• Willis, G. B., Schechter, S., & Whitaker, K. (1999). A Comparison Of Cognitive Interviewing, Expert Review, And Behavior Coding: What Do They Tell Us? Proceedings of the American Statistical Association (pp. 28-37). Survey Research Methods Section.

ملحوظة: هذا المقال يعبر عن رأي صاحبه ولا يعبر عن رأي الصفحة