-
In diesem Kapitel werden Vorüberlegungen getroffen, um Meinungen von Experten einzuholen und somit beispielhaft die bereits erstellten Modelle zu verifizieren. Damit weicht der Inhalt von der eigentlichen Vorgabe einer Technikfolgenabschätzung ab, um den Anforderungen einer Masterarbeit gerecht zu werden. Im Fokus dieses Kapitels steht die Methodik. Dabei wird auf die verwendete Erhebungsmethode eingegangen und diese genauer analysiert. Des Weiteren werden die Expertenauswahl und die Repräsentativität genauer beschrieben. In diesem Punkt wird auf die unterschiedlichen Positionen der ausgewählten Experten eingegangen. Im Anschluss soll ein Einblick in den Fragebogen gegeben werden.
4.1 Auswahl und Beschreibung der Erhebungsmethode
- Das Gebiet der empirischen Sozialforschung nach Gläser und Laudel steht in dieser Arbeit im Fokus.88 Grundsätzlich wird diese in qualitative und quantitative Forschungsstrategien unterschieden. Erstere sind für diese Arbeit am relevantesten, da ein Phänomen und seine Wirkung umfassend analysiert werden können. Dabei wird nicht wie in der quantitativen Forschung deduktiv, sondern induktiv argumentiert. Dieses Vorgehen zeichnet sich durch das Ableiten von Theorien auf Grundlage eigener Forschung aus. Bei dieser nicht standardisierten Messungsmethode werden Ansätze angewandt, die spezifische Informationen zum Untersuchungsgebiet liefern. Darunter werden Interviews, Delphi-Befragungen, Gruppendiskussionen und Fallstudien verstanden.
- 88Vgl. Gläser, Jochen/Grit Laudel: Experteninterviews und qualitative Inhaltsanalyse als Instrumente rekonstruierender Untersuchungen (Lehrbuch), 3., überarb. Aufl., Wiesbaden: Springer, 2009, S. 23–29.
- Im Fokus dieser Arbeit steht die Delphi-Befragung. Häder beschreibt in seinem Buch Delphi-Befragungen, den Ursprung der Namensgebung der Befragung. Delphi ist eine antike Orakelstätte in Griechenland.89 Im Tempel sprach der Gott Apollo im 8. Jahrhundert vor Christi durch ein Medium Weisheiten an Ratsuchende. Dem Orakel musste die Frage schriftlich vorgelegt und ein Opfer gebracht werden. Anschließend musste einen Tag lang auf die Antwort gewartet werden. Die Antwort und die Handlungsempfehlungen wurden in zweideutiger Form vom Medium verkündet und durch die Priester im Tempel interpretiert. Das Orakel erhielt gerade in politischen und sozialen Angelegenheiten umfangreiche Macht, da es bei vielen Entscheidungen zu Rate gezogen wurde. Auch wenn keine einheitliche terminologische Klärung des Begriffs vorliegt, definieren Niederberger und Renn das Delphi-Verfahren folgendermaßen: „Ganz allgemein kann ein Delphi als ein Verfahren verstanden werden, bei dem in einem iterativen Prozess Expertenurteile zu einer bestimmten Fragestellung ermittelt werden, mit dem Ziel, Konsens und Dissens in den Urteilen zu erfassen und zu begründen.“90
-
89Vgl. Häder, Michael: Delphi-Befragungen: ein Arbeitsbuch (Lehrbuch), 3. Aufl., Wiesbaden: Springer, 2014, S. 13–14.
90Niederberger, Marlen/Ortwin Renn: Das Gruppendelphi-Verfahren: vom Konzept bis zur Anwendung (Lehrbuch), Wiesbaden: Springer, 2018, S. 7.
- Die Arbeit beschränkt sich auf eine klassische Mini-Delphi-Befragung. Als ‚mini‘ wird ein ausgewählter und zu betrachtender Teilbereich bezeichnet, der anstelle einer vollständigen Abdeckung aller wichtigen Kategorien steht.91 Dabei befinden sich der Bereich des UI-Designers sowie sein Tätigkeitsbereich im Vordergrund.
- 91Vgl. Cuhls, Kerstin: Technikvorausschau in Japan: ein Rückblick auf 30 Jahre Delphi-Expertenbefragungen; mit 62 Tab (Technik, Wirtschaft und Politik #29), Heidelberg: Springer, 1998, S. 133.
- Für diese Arbeit sind die Bestimmung und Verbesserung einer Vorhersage bzw. einer mehrheitlichen Urteilsbildung nach Häder entscheidend.92 Anhand des Szenarios wird dann die Auswirkung auf den Tätigkeitsbereich des UI-Designers abgeleitet. Um dieses Ziel zu erreichen, kommen vor allem geschlossene und offene Fragen zum Einsatz.
- 92Vgl. Häder, 2014, S. 30–37.
-
Als Vorgehensweise wird das klassische Delphi-Verfahren in fünf Schritten nach Niederberger und Renn angewendet.93 Im ersten Schritt wird ein standardisierter Fragebogen entwickelt. Er besteht aus Fragen mit ergänzenden offenen Formulierungen. Diese werden vor allem zur Reduktion von komplexen Themen, aber auch zur Begründung der numerischen Abschätzung angegeben. Im zweiten Schritt werden die Experten per Fragebogen das erste Mal befragt. Die Auswertung der Delphi-Fragebögen unterliegt einem einfachen formalen Ablauf und wird in Schritt drei vorgenommen. Es werden mithilfe der statistischen Analyse drei Werte errechnet. In Abhängigkeit des Messniveaus und der inhaltlichen Zielstellung wird der Modus für den am häufigsten vorkommenden Wert, der Median für den Mittelwert und das arithmetische Mittel für den Durchschnittswert errechnet. Der vierte Schritt sieht eine zweite Befragung der Experten vor. Der erste Fragebogen wird mit seiner Auswertung zurück an die Experten geschickt, die ihn erneut ausfüllen sollen. Ziel des Vorgangs ist es, die Streuung der Ergebnisse zu reduzieren. Im fünften Schritt werden, falls benötigt, die Schritte 2 bis 4 wiederholt, bis die Experten keine Änderungen mehr vornehmen. In der Regel werden jedoch nur zwei bis drei Wiederholungen benötigt, um zum gewünschten Ergebnis zu kommen.
Als Konsens-Kriterium wird ein Medianwert von über 50 %, was einer absoluten Mehrheit gleichkommt, ausgewählt. Abbruchkriterien der Befragung sind ein Erreichen des Konsenses in den Fragestellungen sowie das Erreichen und Vollenden der zweiten Befragungsrunde.4.2 Expertenauswahl und Repräsentativität
- 93Vgl. Niederberger/Renn, 2018, S. 7–21.
- Experten zeichnen sich nach Gläser und Laudel durch ein besonderes Spezialwissen im zu erforschenden Bereich aus.94 Sie geben dieses Expertenwissen entweder an andere Personen weiter oder nutzen es zur Problemlösung. Beispielhaft können Personen somit lehrenden Tätigkeiten nachgehen, in einer Agentur oder in einem Unternehmen arbeiten. Zudem können sie auch wegen ihrer praktizierten und spezialisierten Tätigkeit als UI-Designer oder einer gleichzusetzenden Fachrichtung ausgewählt werden.
- 94Vgl. Gläser/Laudel, 2009, S. 11–13.
- Genauer beschreiben es Mieg und Näf, die den Experten aus der Soziologie, der Psychologie beschreiben und anschließend eine Definition abgeben.95 In der Soziologie ist ein Experte eine Person, die aufgrund ihrer Bildung einen besonderen Zugang zu Tätigkeitsfeldern oder einer Stellung in einer Organisation hat. Die Psychologie legt die Expertise der Person in den Vordergrund und beschreibt drei Elemente zur Expertenkompetenz. Als erstes kann die Intelligenz und andere Generalfertigkeiten genannt werden, die eine geringe Bedeutung für die Expertenleistung haben. Als zweites Element kann die Abhängigkeit des Bereichs des Experten genannt werden, die nicht auf andere Bereiche übertragbar ist. Das dritte Element beschreibt eine langjährige Erfahrung, die ungefähr 10 Jahre Zeit benötigt. Zusammenfassend definieren sie den Experten als „jemand[en], der/die aufgrund langjähriger Erfahrung über bereichsspezifisches Wissen/Können verfügt.“96
- 95Vgl. Mieg, Harald A./Matthias Näf: Experteninterviews in den Umwelt- und Planungswissenschaften: eine Einführung und Anleitung, Berlin: Pabst Science Publ, 2006, S. 8-10.
- Gläser und Laudel vertreten die Meinung, dass mehrere Experten in den Bereichen befragt werden müssen.97 Beispielhaft beschreiben die Autoren die unterschiedliche berufliche Stellung der Experten, die dadurch jeweils auf einen anderen Wissenshorizont zurückgreifen und damit individuelle Informationen in ihrem Urteil berücksichtigen. Die Erreichbarkeit und Bereitschaft der Experten sollten berücksichtigt und nicht unterschätzt werden. Gerade in der SARS-Covid-19-Pandemie sollte auf andere Möglichkeiten der Kontaktaufnahme und Durchführung des Delphis geachtet werden.
-
96Ebd., S. 10.
97Vgl. Gläser/Laudel, 2009, S. 117–118.
-
Die Empfehlungen in der Literatur zur optimalen Größe der Expertengruppe liegen laut Häder weit auseinander.98 In einem Experiment von Duffield mit 16 sowie 34 Experten ergab sich, dass die Ergebnisse der Delphi-Befragungen zu 92,9 % übereinstimmten.99 Duffield schlussfolgerte daraus, dass die Gruppengröße keinen Einfluss auf das Ergebnis hat.
-
98Vgl. Häder, 2014, S. 100–101.
99Vgl. Duffield, Christine: The Delphi technique: a comparison of results obtained using two expert panels, in: International Journal of Nursing Studies, Bd. 30, Nr. 3, 1993, S. 236, doi:10.1016/0020-7489(93)90033-Q.
- Die Experten für das Delphi werden in verschiedene Bereiche eingeteilt. Diese sollen nun tabellarisch skizziert werden (siehe Tabelle 2):
-
Tabelle 2: Darstellung der Expertenbereiche
Experten Bereich 3 Firma 2 Agentur 2 Selbstständig 2 Lehre Quelle: Eigene Darstellung - Im Sinne einer Stichprobe oder Stichprobengröße stellt sich die Frage der Repräsentativität. Kromrey beschreibt diese als ein Gütekriterium der empirischen Forschung.100 Darüber hinaus argumentiert er, dass zwischen der theoretischen Gesamtheit der Expertenbereiche und der tatsächlichen Stichprobe Übereinstimmung herrschen muss, um repräsentative Untersuchungsergebnisse zu erzielen.
- 100Vgl. Kromrey, Helmut: Empirische Sozialforschung: Modelle und Methoden der standardisierten Datenerhebung und Datenauswertung (UTB für Wissenschaft Uni-Taschenbücher Soziologie 1040), 10., vollst. überarb. Aufl., Opladen: Springer, 2002, S. 264.
- Zu der theoretischen Gesamtheit der Expertenbereiche gehören auch beispielhaft UI-Designer in Softwareunternehmen, in E-Commerce-Unternehmen oder in Dienstleistungsbetrieben. In dieser Arbeit ist der beschriebene Umfang nicht abdeckbar und auch nicht gewollt. Deshalb wurde die Befragung auf die vier Bereiche: Firma, Agentur, Selbstständig und Lehre begrenzt und auf eine Stichprobe verzichtet.
-
Im Kern ist die Delphi-Befragung laut Ammon keine repräsentative Befragung.101 Im Verfahren sowie in dieser Arbeit liegt der Fokus auf dem Erfassen von Bewertungen, Meinungen sowie Kriterien für zukünftige Entwicklungen.
4.3 Fragebogen
- 101Vgl. Ammon, Ursula: Delphi-Befragung, in: Stefan Kühl/Petra Strodtholz/Andreas Taffertshofer (Hrsg.), Handbuch Methoden der Organisationsforschung: quantitative und qualitative Methoden, 1. Aufl., Wiesbaden: Springer, 2009, S. 470.
- Bei der Gestaltung des Fragebogens sind laut Häder mehrere Aspekte zu beachten.102 Die Länge des Fragebogens sollte 12 bis 16 Seiten nicht überschreiten. Ansonsten muss mit einer geringeren Rücksendequote gerechnet werden. Fragen zur Person des Experten sollten ans Ende gesetzt werden, da sie kein Interesse wecken. Das klassische schriftlich-postalische Vorgehen wurde bewusst durch ein PDF-Formular mit digital ausfüllbaren Formularfeldern ersetzt, das auf digitalem Wege versendet wird. Dieses Vorgehen sollte die gewöhnliche Zeitspanne von mehr als einem Monat signifikant verkürzen. Eine Abfrage der Kompetenz innerhalb des Fragebogens hilft bei der Einschätzung der Fähigkeiten der Experten und wurde als Einstiegsfrage gewählt. Weiterhin sollen in diesem Fragebogen die bereits erstellten Szenarien sowohl zeitlich abgeschätzt als auch in ihrer Wahrscheinlichkeit bewertet werden.
- 102Vgl. Häder, 2014, S. 127–138.
- Um die Antwortmöglichkeiten abseits von Binärfragen, die mit ja oder nein zu beantworten sind, zu erweitern, wird die von Porst beschriebene Likert-Skala verwendet.103 Sie ist eine der gängigsten Skalen in sozialwissenschaftlichen Umfragen. Die Skala zeichnet sich dadurch aus, dass vier bis sieben Antwortoptionen verwendet werden. Sie kommt besonders bei einem Set von mehreren Fragen zum Einsatz. Es wird zwischen verbalisierten (jeder Skalenpunkt wird benannt) und endpunktbenannten (nur die Endpunkte werden benannt) Skalen unterschieden. Für eine schnellere Übersicht und Beantwortung der Fragen wurde die endpunktbenannte Skala verwendet.
- 103Vgl. Porst, Rolf: Fragebogen: ein Arbeitsbuch (Studienskripten zur Soziologie), 4., erw. Aufl., Wiesbaden: Springer, 2014, S. 95, doi:10.1007/978-3-658-02118-4.
-
Fünf verschiedene Kategorien wurden gewählt, um die Fragen einzuteilen: Einstiegsfragen, Anwendungen, Tätigkeitsbereiche, Prognosen sowie Experten-Panel. In der folgenden Tabelle sollen die Fragen mit einigen Nachfassaspekten sowie der Intention ergründet werden (siehe Tabelle 3). Vor dem Erstellen des Fragebogens wurden die in Kapitel 3.2 erstellten vier Szenarien in Thesen umgewandelt, die nun vorgestellt werden sollen:
- Trägheits-Szenario: An Umfang, Inhalt und Art des Tätigkeitsfeldes von UI-Designern ändert sich nichts.
- Automations-Szenario: Design-Agenturen und Firmen lassen ihr Personalmanagement von der KI steuern.
- Ambivalenz-Szenario: Die KI unterstützt den UI-Designer beim Entwerfen, Skizzieren, Recherchieren, Präsentieren und bei der Kundenberatung.
- Transformations-Szenario: Die KI unterstützt und ersetzt den UI-Designer beim Entwerfen, Skizzieren, Recherchieren, Präsentieren und bei der Kundenberatung
-
Tabelle 3: Grundlagen des Fragebogens
Einstiegsfragen
[A1] Wie schätzen Sie ihre Kenntnisse ein, um die potenziellen Auswirkungen der KI auf den Tätigkeitsbereich des UI-Designers zu beurteilen?
[A2] Wie wichtig sehen Sie den Einsatz von KI im Bereich des UI-Designs?Zu den Einstiegsfragen gehört das Erfragen der Kenntnisse zusammen mit einer Anmerkung zur besseren Selbsteinschätzung. Zu jeder Frage wurden Nachfassaspekte definiert und zu einem Frageblock zusammengefasst. Beispielhaft kann ein aktueller und zukünftiger Einsatz der KI im UI-Design genannt werden. Anwendung
[B1] Würden Sie als UI-Designer mit einer KI zusammenarbeiten wollen?Dies wurde gefragt, um einen Eindruck von der Erwartungshaltung und Zuversicht der Teilnehmer bezüglich der KI zu erhalten. Der Bereich wurde in fünf Nachfassaspekte unterteilt: Der UI-Designer überträgt, überwacht, koexistiert, unterstützt und geht eine Symbiose mit der KI ein. Tätigkeitsbereich
[C1] Haben Sie seit der Benutzung von KI eine Auswirkung auf Ihren Tätigkeitsbereich festgestellt?
[C2] Worin sehen Sie Vor- und Nachteile im Einsatz von KI im UI-Design?An dieser Stelle sollen grundlegende Informationen erhalten werden, ob im UI-Design gezielt KI-Anwendungen gebraucht werden. Prognose
[D1] In welchem Zeitintervall werden die Thesen eintreten?
[D2] Wie groß ist die Wahrscheinlichkeit für Sie als UI-Designer, von einer KI bis ins Jahr 2030 ersetzt zu werden?Eine der wichtigsten Kategorien, denn nun sollen die Experten die Szenarien hinsichtlich ihres Zeitpunktes abschätzen. Die Antwortmöglichkeiten wurden bei der Frage nach den Zeitintervallen in Fünf-Jahres-Abständen angegeben.104 Im Vorfeld wurden die Szenarien in Thesen oder Annahmebündel umgewandelt. Experten-Panel
[E1] Welcher der folgenden Experten-Gruppen würden Sie sich zuordnen?
[E2] Wie groß ist das Unternehmen, für das Sie arbeiten?Das Sammeln von Informationen über den Experten stand in dieser Kategorie im Mittelpunkt. Die Fragen erlaubten es, die Verwendung von KI besser abzuschätzen. Dabei wurde gezielt auf Fragen hinsichtlich des Geschlechts und des Alters zugunsten der Anonymität verzichtet. Quelle: Eigene Darstellung4.4 Aufbereitung und Auswertung
- 104Vgl. Häder, 2014, S. 134–136.
- Nach jeder Welle der Fragebögen beginnt die Datenaufbereitung. Das Ziel der Aufbereitung besteht laut Ammon darin, die qualitativen Ergebnisse der Experten maschinell lesbar zu verarbeiten.105 Eines der gebräuchlichsten Programme für die Auswertung der quantitativen Ergebnisse ist das SPSS. Fragen werden mit Variablen versehen und jede Person erhält eine Identifikationsnummer. Die Ergebnisse der Experten werden anschließend in die Matrix überführt.
- 105Vgl. Ammon, 2009, S. 183–188.
-
Anschließend ergibt sich daraus eine Matrix, in die die Werte der beantworteten Fragen eingetragen werden. Die Auswertung der Fragen als arithmetisches Mittel, Median, Modus, Quartilsmaß und Standardabweichung übernimmt das Programm. Es bietet nicht nur Berechnungen an, sondern kann auch entsprechende Grafiken erstellen.
- Der Fragebogen der ersten und zweiten Welle wurde so konzipiert, dass offene Fragestellungen zur Verbesserung der Validität hinzugefügt wurden. Die Kommentare der Experten sollen mithilfe einer qualitativen Inhaltsanalysetechnik nach Mayring interpretiert werden.106 Die Intention ist ein optimiertes Textverständnis der Expertenkommentare. Die Inhaltsanalysetechnik wird in drei Grundformen unterschieden: Explikation, Zusammenfassung und Strukturierung. Ziel der Explikation ist es, „zusätzliches Material heranzutragen, das das Verständnis erweitert, das die Textstelle erläutert, erklärt, ausdeutet.“107 Weiterführendes Material zur Interpretation heranzuziehen ist kein Ziel dieser Arbeit.
-
106Vgl. Mayring, Philipp: Qualitative Inhaltsanalyse: Grundlagen und Techniken, 12., überarb. Aufl., Weinheim: Beltz, 2015, S. 65–67.
107Ebd., S. 67.
- In der von Mayring beschriebenen zusammenfassenden Analyse wird das Material reduziert, sodass die essenziellen Informationen durch Abstraktion erhalten bleiben.108 Das Herausfiltern und anschließende Zusammenfassen von Themen, Aspekten und Inhalten ist das Ziel der inhaltlichen Strukturierung. Mithilfe von Kategorien und gegebenenfalls Unterkategorien werden die wichtigen Elemente extrahiert und zu Paraphrasen umformuliert. Auf Grundlage der stichwortartigen Kommentare wird das Paraphrasieren weggelassen. Anschließend werden die Kommentare zu Kategorien zusammengefasst. Um die Kommentare der Experten zu analysieren und zu interpretieren, kann sowohl die zusammenfassende Analyse als auch die inhaltliche Strukturierung angewendet werden.
- 108Vgl. ebd., S. 103.
- Kuckartz fasst die Grundformen in einem Ablaufmodell zusammen.109 Das Ablaufmodell für die inhaltlich strukturierte qualitative Inhaltsanalyse kann für unterschiedliche Datenarten verwendet werden und wird in dieser Arbeit angewandt. Das Ablaufmodell zur Interpretation von Experteninterviews umfasst nach Kuckartz einen siebenstufigen Prozess (siehe Abbildung 6).
- 109Vgl. Kuckartz, Udo: Qualitative Inhaltsanalyse: Methoden, Praxis, Computerunterstützung (Grundlagentexte Methoden), 4. Aufl., Weinheim: Beltz, 2018, S. 97–100.
-
Abbildung 6: Ablaufschema einer inhaltlich strukturierenden Inhaltsanalyse
Quelle: In Anlehnung an Kuckartz, 2018, S. 100. - In der ersten Phase wird nach Kuckartz ein Anfangsimpuls für die Textarbeit gesetzt und Besonderheiten werden markiert.110 Eine Entwicklung von Kategorien und Subkategorien wird in der zweiten Phase vorgenommen. Die Hauptthemen werden aus der Forschungsfrage extrahiert. Als Kategorien oder Subkategorien werden häufig Themen zur Auswertung verwendet. Die Themen werden entweder aus dem Material entwickelt oder aus der Forschungsfrage hergeleitet. In der dritten Phase wird das Material codiert. Dabei werden den Textpassagen Kategorien zugewiesen. In der vierten Phase werden alle mit einer identischen Kategorie codierten Textstellen zu Gruppen zusammengefasst. Anschließend stehen in der fünften Phase das Ausdifferenzieren und Bestimmen von Subkategorien im Mittelpunkt. Danach werden in der sechsten Phase die Kommentare der Experten anhand der ausdifferenzierten Subkategorien codiert. Abschließend werden in der siebten Phase die Ergebnisse in Kapitel 5.2 visualisiert.
- 110Ebd., S. 101–110.
-
Tabelle 4: Kategorienbildung
Frage Kommentar Generalisierung Reduktion C1 Haben Sie seit der Benutzung von KI eine Auswirkung auf Ihren Tätigkeitsbereich festgestellt? 2C1 Nichtdesigner haben mehr Möglichkeiten, selbst gute Designs mithilfe von KI zu erstellen, KI ermöglicht schnelleres Arbeiten (z. B. bei der Bildbearbeitung, Automatisierung von Arbeitsabläufen), KI ermöglicht besseres Arbeiten (z. B. AI-generated-Heatmaps) Nichtdesigner werden zu Designern
Schnelleres Arbeiten (z. B. bei der Bildbearbeitung, Automatisierung von Arbeitsabläufen), besseres Arbeiten (z. B. AI-generated-Heatmaps)HK 2: Veränderung des Tätigkeitsbereichs
- Nichtdesigner werden zu Designern
HK 1: Faktoren bei der Benutzung von KI
- Schnelleres Arbeiten (Bildbearbeitung, Automatisierung von Arbeitsabläufen)
Besseres Arbeiten (AI-generated-Heatmaps)Quelle: Eigene DarstellungTabelle 4 symbolisiert den tabellarisch dargestellten Prozess der Kategorienbildung. Die Tabelle wird dabei in Identifikationsnummer des Experten, Nummer der Frage, Text im Original, Generalisierung und Reduktion eingeteilt.
- 88Vgl. Gläser, Jochen/Grit Laudel: Experteninterviews und qualitative Inhaltsanalyse als Instrumente rekonstruierender Untersuchungen (Lehrbuch), 3., überarb. Aufl., Wiesbaden: Springer, 2009, S. 23–29.
- 89Vgl. Häder, Michael: Delphi-Befragungen: ein Arbeitsbuch (Lehrbuch), 3. Aufl., Wiesbaden: Springer, 2014, S. 13–14.
- 90Niederberger, Marlen/Ortwin Renn: Das Gruppendelphi-Verfahren: vom Konzept bis zur Anwendung (Lehrbuch), Wiesbaden: Springer, 2018, S. 7.
- 91Vgl. Cuhls, Kerstin: Technikvorausschau in Japan: ein Rückblick auf 30 Jahre Delphi-Expertenbefragungen; mit 62 Tab (Technik, Wirtschaft und Politik #29), Heidelberg: Springer, 1998, S. 133.
- 92Vgl. Häder, 2014, S. 30–37.
- 93Vgl. Niederberger/Renn, 2018, S. 7–21.
- 94Vgl. Gläser/Laudel, 2009, S. 11–13.
- 95Vgl. Mieg, Harald A./Matthias Näf: Experteninterviews in den Umwelt- und Planungswissenschaften: eine Einführung und Anleitung, Berlin: Pabst Science Publ, 2006, S. 8-10.
- 96Ebd., S. 10.
- 97Vgl. Gläser/Laudel, 2009, S. 117–118.
- 98Vgl. Häder, 2014, S. 100–101.
- 99Vgl. Duffield, Christine: The Delphi technique: a comparison of results obtained using two expert panels, in: International Journal of Nursing Studies, Bd. 30, Nr. 3, 1993, S. 236, doi:10.1016/0020-7489(93)90033-Q.
- 100Vgl. Kromrey, Helmut: Empirische Sozialforschung: Modelle und Methoden der standardisierten Datenerhebung und Datenauswertung (UTB für Wissenschaft Uni-Taschenbücher Soziologie 1040), 10., vollst. überarb. Aufl., Opladen: Springer, 2002, S. 264.
- 101Vgl. Ammon, Ursula: Delphi-Befragung, in: Stefan Kühl/Petra Strodtholz/Andreas Taffertshofer (Hrsg.), Handbuch Methoden der Organisationsforschung: quantitative und qualitative Methoden, 1. Aufl., Wiesbaden: Springer, 2009, S. 470.
- 102Vgl. Häder, 2014, S. 127–138.
- 103Vgl. Porst, Rolf: Fragebogen: ein Arbeitsbuch (Studienskripten zur Soziologie), 4., erw. Aufl., Wiesbaden: Springer, 2014, S. 95, doi:10.1007/978-3-658-02118-4.
- 104Vgl. Häder, 2014, S. 134–136.
- 105Vgl. Ammon, 2009, S. 183–188.
- 106Vgl. Mayring, Philipp: Qualitative Inhaltsanalyse: Grundlagen und Techniken, 12., überarb. Aufl., Weinheim: Beltz, 2015, S. 65–67.
- 107Ebd., S. 67.
- 108Vgl. ebd., S. 103.
- 109Vgl. Kuckartz, Udo: Qualitative Inhaltsanalyse: Methoden, Praxis, Computerunterstützung (Grundlagentexte Methoden), 4. Aufl., Weinheim: Beltz, 2018, S. 97–100.
- 110Ebd., S. 101–110.