Ποιότητα δεδομένων στη διεθνή δημοσκόπηση

Ερ: Κάθε χρόνο, το Pew Research Center διεξάγει δημοσκοπήσεις σε δεκάδες χώρες. Πώς πραγματοποιεί το Κέντρο έρευνες σε τόσα πολλά διαφορετικά μέρη;


Για τη διεξαγωγή των διεθνών δημοσκοπήσεών του, το Pew Research Center συνεργάζεται στενά με έμπειρους κοινωνικούς και πολιτικούς ερευνητικούς οργανισμούς για τον εντοπισμό και τη διαχείριση τοπικών εκλογικών εταιρειών σε κάθε χώρα που περιλαμβάνεται στις έρευνές μας. Αξιολογούμε προσεκτικά τους τοπικούς προμηθευτές και επιλέγουμε μόνο εκείνες τις εταιρείες που πληρούν τις απαιτήσεις μας για αυστηρές διαδικασίες επιτόπιων εργασιών και ενδελεχή έλεγχο ποιότητας.

Η κορυφαία δέσμευσή μας είναι η ποιότητα των δεδομένων, μια πολύπλευρη ιδέα που απαιτεί προσεκτική προσοχή σε κάθε φάση της διαδικασίας έρευνας, από τη σχεδίαση του δείγματος, τη διεξαγωγή των συνεντεύξεων, την επεξεργασία ενός συνόλου δεδομένων και όχι μόνο. Αυτό σημαίνει επίσης ότι συνεχώς παρακολουθείτε τις νέες τεχνολογίες και τις νέες βέλτιστες πρακτικές.

Ε: Μόλις επιλέξετε έναν τοπικό συνεργάτη ψηφοφορίας, τι ρόλο παίζετε στη διεξαγωγή της έρευνας;

Ως πρακτικό ζήτημα, το Pew Research Center πρέπει να βασίζεται σε τοπικούς προμηθευτές για να οργανώνει και να διαχειρίζεται τις επιτόπιες δραστηριότητες. Αλλά το Κέντρο συμμετέχει σε κάθε φάση της έρευνας. Αναπτύσσουμε το ερωτηματολόγιο της έρευνας, αξιολογούμε και εγκρίνουμε το σχέδιο δειγματοληψίας και αξιολογούμε προσεκτικά την ποιότητα των παραγόμενων δεδομένων. Διαπιστώσαμε ότι τα πρωτόκολλα που διέπουν τον τρόπο διεξαγωγής μιας έρευνας από τους ερευνητές είναι ιδιαίτερα σημαντικά για να διασφαλιστεί ότι μια έρευνα αντιπροσωπεύει με ακρίβεια τις στάσεις του κοινού και των βασικών υποομάδων, και έτσι δίνουμε μεγάλη προσοχή στον σχεδιασμό αυστηρών πρωτοκόλλων.


Ε: Τι είδους πληροφορίες χρειάζεστε για να παρακολουθήσετε την ποιότητα των δεδομένων από μακριά;



Παραμένουμε σε τακτική επαφή με τους ερευνητικούς μας εταίρους - τις επαγγελματικές ερευνητικές εταιρείες που προσλαμβάνουμε για να βοηθήσουμε στον εντοπισμό, τον συντονισμό και την εποπτεία του εκτεταμένου δικτύου τοπικών προμηθευτών - καθώς και με τους ίδιους τους τοπικούς προμηθευτές. Έχουμε επίσης μια ολοκληρωμένη διαδικασία επιβεβαίωσης ότι μια τοπική εταιρεία κατανοεί και μπορεί να εκτελέσει τις απαιτούμενες διαδικασίες δειγματοληψίας και επιτόπιων εργασιών.


Οι πληροφορίες που συλλέγουμε για να το κάνουμε αυτό περιλαμβάνουν:

  • λεπτομερή περιγραφή της μεθόδου επιλογής των ερωτηθέντων (ο σχεδιασμός του δείγματος) και οι προκλήσεις που αντιμετωπίζει κατά τη διάρκεια της επιτόπιας εργασίας · εκτεταμένη τεκμηρίωση των στατιστικών για τον πληθυσμό που χρησιμοποιήθηκαν για την αξιολόγηση της απόδοσης του δείγματος, ή με λιγότερο τυπικούς όρους, μια κατανόηση των στόχων του πληθυσμού που προσπαθεί να επιτύχει η ομάδα επιτόπιων εργασιών (π.χ. το μερίδιο των ανδρών και των γυναικών) και πόσο επιτυχής ήταν σε αυτήν την προσπάθεια . Στις ΗΠΑ, για σύγκριση, αυτά τα στατιστικά στοιχεία για τον πληθυσμό θα βασίζονται στο έργο του Γραφείου Απογραφής των ΗΠΑ.
  • αρχεία για κάθε συνέντευξη του ερευνητή που το διενήργησε, καθώς και τον επόπτη που επιβλέπει αυτόν τον συνεντευξιαστή και το άτομο που εισήγαγε τα προκύπτοντα δεδομένα. Αυτό επιτρέπει την αναδρομική διερεύνηση ασυνήθιστων προτύπων στα δεδομένα.
  • εκτενείς υλικοτεχνικές λεπτομέρειες για κάθε συνέντευξη, συμπεριλαμβανομένης της ώρας της ημέρας, της τοποθεσίας, της διάρκειας και της παρουσίας άλλων. και
  • όταν είναι δυνατόν, δεδομένα για όλες τις επαφές που πραγματοποιήθηκαν για την ολοκλήρωση της έρευνας, συμπεριλαμβανομένων των νοικοκυριών που δεν ανταποκρίθηκαν στην πρόσκληση της έρευνας και των ατόμων που αρνήθηκαν να συμμετάσχουν.

Ε: Πόσο εμπλέκεται το Pew Research Center στην εκπαίδευση των ερευνητών που διεξάγουν τις έρευνες;


Με την πάροδο του χρόνου, έχουμε εμπλακεί περισσότερο σε αυτήν τη φάση ενός έργου. Κυρίως, θέλουμε να είμαστε σίγουροι ότι οι ερευνητές είναι εξοικειωμένοι και άνετοι με τα πρωτόκολλα επιτόπιων εργασιών και ότι καταλαβαίνουν γιατί πρέπει να ακολουθούν αυτές τις οδηγίες. Είναι λογικά δύσκολο για εμάς να παρακολουθούμε άμεσα την εκπαίδευση των ερευνητών σε πολλές χώρες. Αλλά εργαζόμαστε για την ανάπτυξη καινοτόμων λύσεων. Για μια πολυεθνική έρευνα στη Λατινική Αμερική, για παράδειγμα, παρατηρήσαμε εκπαιδευτικές συνεδρίες μέσω συνδέσμου βίντεο. Για ένα έργο στην Ανατολική Ευρώπη, διοργανώσαμε μια συγκεντρωτική συγκέντρωση επιτηρητών πεδίου από διαφορετικές χώρες, έτσι ώστε το προσωπικό μας να μπορεί να παρακολουθεί την εκπαίδευση αυτοπροσώπως.

Ε: Πώς το Pew Research Center επιβλέπει ένα έργο έρευνας όταν βρίσκεται στο πεδίο;

Κατά τη διάρκεια της επιτόπιας εργασίας, απαιτούμε από τους τοπικούς προμηθευτές να χρησιμοποιούν διάφορα μέτρα ποιοτικού ελέγχου για την παρακολούθηση συνεντεύξεων. Πρώτον, ένα καθορισμένο ποσοστό των συνεντεύξεων πρέπει να επιβλέπεται. Δεύτερον, σε πρόσωπο με πρόσωπο έρευνες, ένα τυχαίο υποσύνολο των συνεντεύξεων κάθε ερωτώμενου πρέπει να «ελέγχεται ξανά». Αυτό απαιτεί από έναν συνάδελφο της εταιρείας έρευνας να ελέγξει με έναν ερωτώμενο - αυτοπροσώπως ή τηλεφωνικώς - και να επαληθεύσει ότι πραγματοποιήθηκε η συνέντευξη. Πολλές ερωτήσεις της έρευνας ρωτούνται ξανά για επιβεβαίωση των απαντήσεων. Τέλος, δεν επιτρέπουμε σε έναν ερευνητή να διεξάγει περισσότερο από το 5% όλων των συνεντεύξεων. Αυτό βοηθά στην ελαχιστοποίηση του αντίκτυπου που μπορεί να έχει ένας μεμονωμένος ερευνητής στην ποιότητα του τελικού συνόλου δεδομένων.

Μια νεότερη πρακτική είναι να ζητήσετε από τις τοπικές εταιρείες δημοσκοπήσεων να αναφέρουν, σε προκαθορισμένους χρόνους κατά τη διάρκεια της επιτόπιας περιόδου, σχετικά με τον συνολικό αριθμό των συνεντεύξεων που ολοκληρώθηκαν, την περιφερειακή κατανομή των συνεντεύξεων και τον συνδυασμό των ερωτηθέντων ανά ηλικία και φύλο. Όταν είναι δυνατόν, ζητούμε να αναλυθούν αυτές οι πληροφορίες από τον ερευνητή. Κάθε σημείο δεδομένων παρέχει πληροφορίες για το πόσο καλά ακολουθούν οι ερευνητές το σχέδιο έρευνας και τις οδηγίες για την τυχαία επιλογή των ερωτηθέντων.


Ε: Έχετε συναντήσει ποτέ περιπτώσεις όπου οι συνεντευξιανοί δεν ακολούθησαν το σχέδιο; Εάν ναι, τι έκανες;

Υπήρξαν περιπτώσεις όπου οι επιτόπιες ενημερώσεις δείχνουν ότι ένας ή περισσότεροι ερευνητές δεν ακολουθούσαν τα κατάλληλα πρωτόκολλα. Σε τέτοιες περιπτώσεις, θέτουμε σε παύση την επιτόπια εργασία αυτού του ατόμου και ζητούμε πρόσθετες πληροφορίες σχετικά με την απόδοση του ερευνητή, όπως η διάρκεια των συνεντεύξεων και ο χρόνος και μεταξύ των συνεντεύξεων. Προσπαθούμε να αναδημιουργήσουμε το καθημερινό ημερολόγιο εργασίας ενός ερευνητή και να προσδιορίσουμε εάν αυτός ή αυτή πραγματοποιεί κατάλληλες συνεντεύξεις, δεδομένης της διάρκειας της έρευνας και της γεωγραφίας της χώρας.

Σε μερικές περιπτώσεις, τα στοιχεία δείχνουν ότι ένας ερευνητής έχει κατασκευάσει απαντήσεις ή δεν επέλεξε τυχαία τους ερωτηθέντες όπως απαιτείται. Απαιτούμε να απορρίπτονται οι ερευνητές που είναι ύποπτοι για κακή συμπεριφορά και να απορρίπτονται τα δεδομένα που συλλέγουν. Στις περισσότερες περιπτώσεις, οι έρευνές μας αποκαλύπτουν καλοπροαίρετους ερευνητές που αντιμετώπισαν προκλήσεις στον τομέα. Σε μια έρευνα της Λατινικής Αμερικής, για παράδειγμα, οι επιτόπιες ενημερώσεις μας προειδοποίησαν ότι είχαμε λιγότερες συνεντεύξεις με νεαρούς άνδρες από ό, τι αναμενόταν. Αυτό οφειλόταν στην ανησυχία των γυναικών συνεντευκτών σχετικά με την περιήγηση σε συγκεκριμένες γειτονιές το βράδυ, την πρωταρχική στιγμή να έρθουν σε επαφή με άντρες σε ηλικία εργασίας. Σε αυτήν την περίπτωση, διορθώσαμε το πρόβλημα επεκτείνοντας τις συνεντεύξεις στις ώρες της ημέρας τα σαββατοκύριακα και υπογραμμίζοντας εκ νέου τη σημασία της επανειλημμένης επικοινωνίας με τυχαία επιλεγμένους ερωτηθέντες για να αποκτήσουν τη συνεργασία τους.

Ε: Αφού ολοκληρωθεί η επιτόπια εργασία, τι μέτρα λαμβάνει το Pew Research Center για να εξασφαλίσει την ποιότητα των δεδομένων της έρευνας;

Το σύνολο δεδομένων ελέγχεται για πρώτη φορά από τους ερευνητικούς μας εταίρους, εταιρείες που έχουν προσληφθεί ειδικά για τη σημαντική εμπειρία τους στην ψηφοφορία σε σχετικές χώρες και για τις καθιερωμένες σχέσεις τους με τοπικές εταιρείες. Οι ερευνητικοί μας συνεργάτες μας ειδοποιούν εάν υποπτεύονται ή αν υποδεικνύουν κριτικές, ότι δεν ακολουθήθηκαν οι διαδικασίες επιτόπιων εργασιών. Σε αυτήν την περίπτωση, συνεργαζόμαστε με την τοπική εταιρεία για την αντιμετώπιση του ζητήματος. Οι συνεργάτες μας είναι η πρώτη γραμμή αξιολόγησης.

Μόλις λάβουμε ένα σύνολο δεδομένων, εφαρμόζουμε στη συνέχεια μια σειρά διαδικασιών ποιοτικού ελέγχου. Δίνουμε ιδιαίτερη προσοχή στα «παραδεδομένα» για όλες τις ολοκληρωμένες συνεντεύξεις: Ψάχνουμε συγκεκριμένα για ύποπτα μοτίβα στη διάρκεια της συνέντευξης, την τοποθεσία και το χρόνο, καθώς και το φόρτο εργασίας και το ποσοστό επιτυχίας ανά ερωτώμενο. Ρίχνουμε μια πιο προσεκτική ματιά στις απαντήσεις που καταγράφονται από έναν συγκεκριμένο ερευνητή εάν εντοπίσουμε ανωμαλίες που δεν μπορούν να εξηγηθούν λογικά και αναζητούμε ασυνεπείς απαντήσεις, ακραίες τιμές και διπλές εγγραφές. Αυτή η διαδικασία ελέγχου είναι επαναληπτική. Ακόμα κι αν μια πρώτη ανάλυση των παραδειγμάτων δεν προκαλεί ανησυχίες, επιστρέφουμε και εξετάζουμε βαθύτερα τα παραδεδομένα εάν στη συνέχεια βρούμε περίεργα μοτίβα στις απαντήσεις σε ερωτήσεις έρευνας.

Ε: Αναζητάτε διπλές εγγραφές και τι δείχνει η παρουσία τους;

Ένας από τους πολλούς τρόπους με τους οποίους μπορεί να επηρεαστεί η ποιότητα των δεδομένων της έρευνας είναι η συμπερίληψη διπλών εγγραφών - όπου ένα σύνολο απαντήσεων συμπεριλαμβάνεται περισσότερες από μία φορές. Αυτό μπορεί να είναι ακούσιο, ατύχημα προγραμματισμού ή καταχώρησης δεδομένων. Εναλλακτικά, θα μπορούσε να είναι σκόπιμη απάτη, περίπτωση υπαλλήλου - είτε συνέντευξη, επόπτης ή στέλεχος της εταιρείας - σκόπιμα περικοπές για την εκπλήρωση ποσοστώσεων, αποφυγή ταλαιπωρίας ή χαμηλότερο κόστος.

Αυτήν τη στιγμή ελέγχουμε για συνεντεύξεις στις οποίες υπάρχει αντιστοίχιση 100% σε όλες τις μεταβλητές (συμπεριλαμβανομένων των δημογραφικών ερωτήσεων) και περιπτώσεις στις οποίες υπάρχει αντιστοιχία 100% μόνο στις ουσιαστικές μεταβλητές. Εντοπίζουμε διπλές εγγραφές σε ορισμένες περιπτώσεις, αν και συνήθως αντιπροσωπεύουν 1% ή λιγότερο ενός δείγματος. Η τυπική παραδοχή μας είναι ότι πρόκειται για ένδειξη σφάλματος και, συνεπώς, τείνουμε να τα απορρίψουμε.

Είναι δύσκολο να προσδιοριστεί αν μια διπλή εγγραφή οφείλεται σε σκόπιμη απάτη, ακόμη και μετά από εκτεταμένη έρευνα. Το μεγαλύτερο πρόβλημα με τον εντοπισμό παραποιημένων δεδομένων οποιουδήποτε είδους είναι ότι συνήθως δεν υπάρχει όπλο καπνίσματος στο σύνολο δεδομένων. Τα ψευδεπίγραφα δεδομένα θα μπορούσαν να λάβουν οποιαδήποτε μορφή, όχι μόνο μια απλή (ή σχεδόν) επανάληψη απαντήσεων. Οι ερωτηθέντες που θέλουν να κόψουν τις γωνίες θα μπορούσαν να εφεύρουν τους ερωτηθέντες συνολικά ή να πάρουν συνέντευξη από φίλους και όχι από τους επιλεγμένους ερωτηθέντες. Εξαιτίας αυτού, όταν υποπτευόμαστε κάποιο πρόβλημα με ένα σύνολο δεδομένων, αναλύουμε όλα τα διαθέσιμα δεδομένα, συμπεριλαμβανομένων των παραδεδομένων, των ουσιαστικών δεδομένων, των δεδομένων για τους συνεντευξιακούς και των δεδομένων επαφών, για να αξιολογήσουμε τι μπορεί να έχει πάει στραβά. Στη συνέχεια, συνεργαζόμαστε με τους ερευνητικούς μας εταίρους και τις τοπικές εταιρείες για να διερευνήσουμε τι συνέβη και τον καλύτερο τρόπο αντιμετώπισης του ζητήματος.

Ε: Μπορεί το Pew Research Center να είναι σίγουρο ότι οι διεθνείς έρευνές του δεν περιέχουν ψευδή δεδομένα;

Η παραποίηση δεδομένων είναι μια μακροχρόνια ανησυχία στην ερευνητική κοινότητα της έρευνας. Είναι σίγουρα μια ανησυχία για εμάς καθώς διεξάγουμε έρευνες σε όλο τον κόσμο, συχνά μέσω προσωπικών συνεντεύξεων που δεν μπορούμε να παρακολουθούμε άμεσα. Η εμπειρία μας υποδηλώνει ότι δεν μπορούμε ποτέ να είμαστε απόλυτα βέβαιοι ότι τα σύνολα δεδομένων μας είναι 100% απαλλαγμένα από ψευδή ή δευτερεύοντα δεδομένα. Αλλά είμαστε πεπεισμένοι ότι έχουμε υιοθετήσει υγιή μέτρα για να διασφαλίσουμε ότι τα δεδομένα που δημοσιεύουμε είναι της υψηλότερης ποιότητας.

Ε: Τι ακολουθεί όσον αφορά τη βελτίωση της ποιότητας των δεδομένων σε διεθνείς έρευνες;

Αναζητούμε συνεχώς τρόπους για να βελτιώσουμε τον ποιοτικό μας έλεγχο. Είμαστε ενθουσιασμένοι για τη δυνατότητα αντικατάστασης των ερωτηματολογίων σε χαρτί με tablet υπολογιστή σε προσωπικές έρευνες για να επιτρέψουμε τη λεπτομερή παρακολούθηση στους επερχόμενους γύρους των διεθνών δημοσκοπήσεων.

Μία ιδιαίτερα υποσχόμενη καινοτομία είναι η μέτρηση του χρόνου καθ 'όλη τη διάρκεια της έρευνας σε πρόσωπο με πρόσωπο μελέτες με tablet ή άλλες φορητές συσκευές. Τέτοιες μετρήσεις μπορεί να περιλαμβάνουν τη συνολική διάρκεια μιας έρευνας, από την αρχή έως το τέλος, αλλά επίσης να υποδεικνύουν το χρόνο που απαιτείται για την ολοκλήρωση τμημάτων ενός ερωτηματολογίου ή για την απάντηση σε μια συγκεκριμένη ερώτηση. Ο συγχρονισμός των υποτμημάτων του ερωτηματολογίου μπορεί να χρησιμοποιηθεί για να εκτιμηθεί εάν ο ερωτώμενος ή ο ερευνητής μπορεί να είχε ασυνήθιστες δυσκολίες με μια συγκεκριμένη ενότητα ή εάν ο ερευνητής μπορεί να μην είχε πάρει τον κατάλληλο χρόνο για να υποβάλει συγκεκριμένες ερωτήσεις.

Μια άλλη ενδιαφέρουσα οδός με φορητές συσκευές υπολογιστή είναι η χρήση ηχογραφήσεων σε τυχαία σημεία στη συνέντευξη. Αυτό επιτρέπει στον ερευνητή να επιβεβαιώσει ότι ο ερωτώμενος είχε διαβάσει σωστά ερωτήσεις και αν ο ίδιος ερωτώμενος απαντά στις ερωτήσεις καθ 'όλη τη διάρκεια της έρευνας.

Όπως συμβαίνει με οποιοδήποτε μέτρο ποιότητας δεδομένων, αυτές οι νέες προσεγγίσεις πρέπει να αξιολογηθούν μαζί με μια ποικιλία άλλων δεικτών για να κατανοήσουν πώς συμβάλλουν στην ανάλυση της ποιότητας των δεδομένων της έρευνας. Τα ευρήματα αυτής της έρευνας θα πρέπει να ενημερώνουν το σχεδιασμό και τη δομή των μελλοντικών ερευνών, να οδηγούν σε νέες προσεγγίσεις για την κατάρτιση και να παρακινούν τους ερευνητές και να βοηθούν στην ανάπτυξη νέων, και ελπίζουμε καλύτερα, μεθόδων ποιοτικού ελέγχου.