In the realm of user experience, there are many ways to go about understanding how users interact with a product or service. We can observe users in a lab setting or track their interactions through analytics tools. But there’s another method that is often overlooked: The diary study.
Just as the name suggests, a diary study involves participants keeping a diary of their thoughts and experiences while using a product or service. It's almost like a personal journal, but with specific prompts to help researchers understand how users interact with a product.
Diary studies can be a great way to get insights into user behavior that wouldn’t be possible through other methods. They provide insights into real behavior in real time as well as over time. They can also be more engaging for participants and help build a rapport between researchers and participants.
Let's take a closer look at how you can conduct a successful diary study for in-depth insights into user behavior.
What is a UX Diary Study Exactly?
Also referred to as a camera study, a diary study is a qualitative research method where participants are asked to document their behaviors and experiences and their thoughts and feelings about those behaviors and experiences over time.
Diary studies are an excellent research method to explore use of a product or service. Unlike focus groups or interviews, a key benefit of diary studies is that they allow researchers to in reality track user behavior and attitudes over a specified period of time versus a participant attempting to think back and recall their behavior and attitudes or be requested to artificially complete tasks.
In the same way that a personal diary gives deep insights into a person's thoughts and feelings, diary studies can provide valuable insights into how users interact with a product or service and how they feel about those interactions.
By asking participants to document their actions and thoughts in a journal-like format, researchers can gain an understanding of how users interact with a product on a daily basis, as well as pinpoint any problems or frustrations they may experience.
There are different methods researchers can use to gather data from diary study participants:
- Open-ended: Participants are asked to document their thoughts and feelings about using a product or service in an open-ended format. This allows researchers to gain a broad understanding of how participants use and feel about the product.
- Questionnaires or Question Prompts: Participants are asked to answer specific questions about their use of the product or service, which can help researchers identify areas of concern. Often participants are asked to perform specific tasks or actions and post their actions, reactions and assessments of those tasks.
- Check-in calls: Researchers contact participants at regular intervals to ask them about their diary entries, and to get feedback on how they're using the product or service.
- Review, Respond and Re-question: If diary studies are done electronically, either by video diary or written, researchers can review daily entries and respond with additional probes and questions specific to those posts.
While some might view the diary study as an unstructured way to conduct research, done correctly, a diary study can provide valuable insights into authentic user behavior and attitudes.
Who Should Use a Diary Study?
Diary studies are highly useful tools, but they won't suit every need. They're best for understanding how people use a product on their own, in their natural environment. If you want to understand how users interact with your product in a lab setting, or if you need precise quantitative data, diary studies may not be the best option.
The main uses for these studies include:
- Observing the habits of your user base
- Discovering pain points in the user experience,
- Exploring users’ attitudes towards your product while using it
- Understanding the situations in which your product is used
- Gaining insights into the journey of a user, from discovery to abandonment
- Spotting trends in user behavior
- Exploring usability, affinity for and ideas for improvement as features are built and added to a platform in-progress, prior to launch
Examples of when a dairy study is an appropriate research method are:
- Imagine you are trying to decide on a product update for your food delivery app. You could use a diary study to see whether users are neglecting a certain feature, or whether they're struggling with a certain part of the process.
- You’re a web designer working on a new e-commerce site. Your research goal is to understand how users interact with the site's search bar and navigation menus. You want to learn what types of searches users conduct, where they click first, and how they interact with the results. You'll also want to know the average time users spend on the site.
When You Should Use a Different UX Method
Keep in mind that a diary study is designed to collect qualitative and longitudinal (over time) information and insights. If you're looking for something more specific or if you need to quantify your results, consider a more appropriate research method.
Some factors that could lead you to choose an alternative to a diary study include:
- The product is used in a lab setting, rather than in the user's natural environment
- The product is used for a short period of time or is only used once
- The product is used by a very small number of people
- You need precise quantitative data
- The product is used by very different types of users
An example of when a diary study is not the best research method is: You are redesigning a registration process for a new website. You're interested only in understanding how the sign-up process works for a limited number of users.
For this example, you might want to use a different UX method as It is only focused on one element of the website, and not the entire user journey – so a diary study would be unnecessary.
Conducting a Successful Diary Study
Diary studies are perhaps one of the most participant-friendly forms of user research. Unlike other research methods that require in-person sessions or long surveys, diary studies can be conducted through a simple questionnaire or open-ended form that users complete independently.
The benefits of diary studies are clear: they allow researchers to capture authentic user behavior in their natural environment, over an extended time period.
However, there's still the potential to waste time on this method if you don't plan it out effectively. So, where should you begin?
1. Understand Your Research Question and Scope
This is a crucial step to cover, and it will also help you decide which type of UX test is the best method for your needs. Ask the following questions to clarify your research question and your scope:
- What is your research goal?
- What are you trying to learn from users?
- What behaviors do you want to observe?
- Who are the users you want to study?
- What type of data do you need?
- What's your budget?
Nachdem Sie jede Frage sorgfältig beantwortet haben, können Sie einen Plan für Ihr Tagebuchstudium entwickeln.
2. Entscheiden Sie sich für Ihre Studiendauer
Tagebuchstudien können Tage, Wochen, sogar Monate dauern — je nachdem, welche Länge für Ihr Ziel oder Ihre Forschungsfrage und für Ihr Budget am besten geeignet ist.
Je länger Ihre Tagebuchstudie dauert, desto teurer wird sie natürlich. Den Teilnehmern müssen höhere Anreize gewährt werden, und es muss mehr Zeit für die Verwaltung der Teilnehmer sowie das Hinzufügen von Fragen, Aufforderungen und Aufgaben aufgewendet werden.
3. Wählen Sie Ihr Format
Ihr nächster Schritt besteht darin, das Format Ihrer Tagebuchstudie festzulegen. Es gibt zwei Haupttypen von Tagebuchstudien:
- Auf Fragebögen basiert: Dieser Typ verwendet einen strukturierten Fragebogen, den Benutzer in ihrer Freizeit ausfüllen. Bei den Fragen handelt es sich in der Regel um eine Mischung aus offenen und geschlossenen Fragen, und sie konzentrieren sich in der Regel auf bestimmte Verhaltensweisen oder Ziele.
- Formular mit offenem Ende: Dieser Typ ist ein einfaches Formular, das Benutzer in ihrer Freizeit ausfüllen. Es ist weniger strukturiert als ein Fragebogen und ermöglicht es Benutzern, über alles zu schreiben, was sie im Zusammenhang mit ihrer Erfahrung mit dem Produkt wünschen.
Beide Formate haben ihre Vor- und Nachteile. Sie müssen also entscheiden, welches für Ihre Forschungsfrage und Ihren Umfang am besten geeignet ist. Wenn Sie sich beispielsweise auf ein bestimmtes Verhalten konzentrieren möchten, ist eine auf Fragebögen basierende Studie die bessere Option. Wenn Sie jedoch daran interessiert sind, ein umfassendes Bild des Nutzerverhaltens und der Gedanken und Emotionen hinter diesen Verhaltensweisen zu erhalten, ist ein Formular mit offenem Ende wahrscheinlich die bessere Wahl.
Ein weiterer zu berücksichtigender Faktor ist die Sammelplattform. Möchten Sie Papierformulare oder elektronische (Online-) Formulare verwenden? Eine Methode mit Stift und Papier ist kostengünstiger, aber Sie können die Lesbarkeit nicht immer garantieren, und es wird schwierig und zeitaufwändig sein, sicherzustellen, dass die Teilnehmer engagiert und aktiv an ihren Einträgen arbeiten.
Auf der anderen Seite ist die elektronische Erfassung zwar teurer, hat aber viele Vorteile:
- Es kann die Zeit verkürzen, die Sie zum Zusammenstellen und Analysieren von Antworten benötigen.
- Sie können die Antworten während der gesamten Studie überprüfen und so ganz einfach sicherstellen, dass die Teilnehmer engagiert sind und Beiträge veröffentlichen.
- Da Sie Tagebucheinträge überprüfen können, können Sie anhand des Inhalts der Beiträge zusätzliche Fragen und Sonden eingehender stellen.
- Sie können sicher sein, dass Ihre Studie erfolgreich voranschreitet, da Sie die laufenden Beiträge sehen und analysieren können, anstatt sich auf Telefonanrufe, SMS oder E-Mail-Updates Ihrer Teilnehmer verlassen zu müssen.
4. Erstellen Sie Ihren Fragebogen oder Ihr Formular
Ihr dritter Schritt besteht darin, das Tagebuch selbst zu erstellen. Dies kann auf verschiedene Arten geschehen:
- Wenn Sie eine auf Fragebögen basierende Studie verwenden, müssen Sie die Fragen selbst schreiben. Stellen Sie sicher, dass sie klar und präzise sind und dass sie alle Verhaltensweisen oder Ziele abdecken, die Sie beobachten möchten.
- Wenn Sie ein Formular mit offenem Ende verwenden, müssen Sie eine Liste mit Themen erstellen, über die Benutzer schreiben können. Dies könnten allgemeine Themen wie „Wie war Ihre allgemeine Erfahrung?“ sein oder spezifische Fragen zu Ihren Forschungszielen.
- Sie können sich auch dafür entscheiden, überhaupt keine Aufforderungen zu erhalten und die Benutzer einfach bitten, über ihre Erfahrungen mit dem Produkt zu schreiben. Diese Option kann weniger strukturiert sein, kann aber auch zu abwechslungsreicheren und interessanteren Ergebnissen führen.
Erstellung einer fragebogenbasierten Studie
Wenn Sie eine Tagebuchstudie mit Fragen schreiben, denken Sie daran, dass Ihre Fragen niemals zu präskriptiv oder leitend sein sollten. Sie möchten, dass die Nutzer sie ehrlich beantworten, ohne das Gefühl zu haben, zu einer bestimmten Antwort verleitet zu werden.
Hier sind einige Tipps zum Schreiben effektiver Fragen:
- Seien Sie klar und präzise.
- Stellen Sie sicher, dass der Umfang Ihrer Fragen alle Verhaltensweisen oder Ziele abdeckt, die Sie beobachten möchten.
- Verwenden Sie hauptsächlich offene Fragen
- Vermeiden Sie führende oder suggestive Fragen.
- Stellen Sie sicher, dass die Fragen anhand des Hintergrunds Ihrer Teilnehmerbasis leicht zu verstehen sind.
Hier sind einige Beispielfragen, die in einer Tagebuchstudie verwendet werden könnten:
- Beschreiben Sie die Aufgaben, die Sie heute erledigt haben.
- Welche der Aufgaben waren, wenn überhaupt, schwer zu erledigen?
- Beschreiben Sie, was die Schwierigkeiten für jede schwer zu erledigende Aufgabe verursacht hat.
- Welche Aufgabe (n) sollten Sie Ihrer Meinung nach auf der Plattform erledigen können, konnten es aber nicht? Warum?
Die Fragen sind klar und präzise. Sie behandeln nicht nur, welche Aufgaben versucht und abgeschlossen wurden, sondern heben auch Aufgaben hervor, die schwierig zu erledigen waren und warum und welche nicht erledigt werden konnten.
Ein Formular mit offenem Ende erstellen
Bei einem Formular mit offenem Ende ist es Ihr Ziel, so viele Erkenntnisse wie möglich von Benutzern zu gewinnen. Diese können verwendet werden, um allgemeine Fragen zum Nutzerverhalten zu beantworten oder um ein tieferes Verständnis für bestimmte Verhaltensweisen oder Ziele zu erlangen.
Hier sind einige Tipps für die Erstellung eines effektiven offenen Formulars:
- Stellen Sie sicher, dass das Formular leicht auszufüllen und zu verstehen ist.
- Fügen Sie eine Vielzahl von Themen hinzu, über die Benutzer schreiben können.
- Vermeiden Sie Leitfragen oder Themen.
- Sorgen Sie für ausreichend Struktur, um die Antworten des Benutzers zu erleichtern, aber nicht direkt zu formulieren.
Zum Beispiel könnte dieses Thema in einer offenen Form enthalten sein:
„Was sind Ihre Gedanken zum visuellen Design der Website, berücksichtigen Sie verschiedene Seiten/Teile der Website, Likes, Dislikes und warum?“
Die Frage ist zwar nicht leitend und ermöglicht es den Nutzern, über ihre Gedanken zu schreiben, aber sie ermutigt die Teilnehmer auch, genügend Informationen anzubieten, um wertvoll zu sein.
5. Wählen Sie Ihren Logging-Stil
Bevor du die Tagebuchstudie an die Nutzer verteilst, musst du genau entscheiden, wie sie posten sollen. Sie haben hier ein paar Optionen.
Option A: Intervallkontingentprotokoll
Ein Protokoll mit Intervallkontingenten fordert Benutzer auf, Tagebucheinträge in festen Zeitintervallen und nicht nach bestimmten Ereignissen zu vervollständigen. Beispielsweise könnten Sie die Teilnehmer bitten, jeden Morgen, Nachmittag und Abend einen Eintrag zu vervollständigen. Diese Art von Protokoll wird im Allgemeinen für Studien verwendet, die weniger zeitkritisch sind, oder wenn der Forscher allgemeine oder umfassende Einblicke wünscht.
Option B: Signalkontingentprotokoll
Sie können sich für einen Signalansatz entscheiden, bei dem Benutzer aufgefordert werden, Tagebucheinträge erst nach bestimmten Ereignissen zu vervollständigen. Wenn Sie beispielsweise eine Textnachricht an das Telefon eines Teilnehmers senden, könnten Sie ihn bitten, als Antwort auf den Text in sein Tagebuch zu schreiben. Signalabhängige Protokolle werden in der Regel verwendet, wenn Forscher Antworten auf bestimmte Fragen wünschen oder bestimmte Benutzerreaktionen oder Verhaltensweisen untersuchen möchten.
Option 3: Event-Contingent-Protokoll
Die dritte Option ist das Event-Contingent-Protokoll, bei dem Benutzer Tagebucheinträge nach bestimmten Ereignissen vervollständigen, z. B. nach der Nutzung einer neuen Funktion oder dem Besuch einer bestimmten Website. Sie würden diese Option in Betracht ziehen, wenn Sie mehr über die Erfahrungen der Benutzer in einem bestimmten Kontext erfahren möchten.
Sobald Sie sich für die Art des Protokolls entschieden haben, ist es wichtig, klare Anweisungen für die Teilnehmer zu erstellen. Sag ihnen genau, wann und wie sie Tagebucheinträge vervollständigen sollen. Auf diese Weise können Sie sicherstellen, dass Ihre Daten korrekt und zuverlässig sind.
6. Verteilen Sie den Fragebogen oder das Formular
Sie haben Ihren Fragebogen oder Ihr Formular erstellt. Jetzt ist es an der Zeit, ihn an Ihre Benutzer zu verteilen. Es gibt mehrere Möglichkeiten, dies zu tun:
- Senden Sie den Fragebogen oder das Formular per E-Mail an die Benutzer.
- Veröffentlichen Sie den Fragebogen oder das Formular auf einer Website.
- Senden Sie den Fragebogen oder das Formular als Link in einer E-Mail.
- Platzieren Sie den Fragebogen oder das Formular an einem physischen Ort, z. B. in einem Wartezimmer.
Achten Sie beim Verteilen Ihres Fragebogens oder Formulars darauf, klare Anweisungen zum Ausfüllen beizufügen. Erinnern Sie die Benutzer auch daran, dass sie sich beim Ausfüllen des Formulars Zeit nehmen können und dass es keine Eile gibt — das Letzte, was Sie wollen, sind überstürzte Antworten, die nicht korrekt sind.
So rekrutieren Sie Ihre Teilnehmer für die UX Diary-Studie
Lassen Sie uns einen Moment zurücktreten und darüber nachdenken, wen Sie an Ihrer Tagebuchstudie teilnehmen möchten. Die Personen, die Sie auswählen, werden einen großen Einfluss auf den Erfolg Ihrer Studie haben — von der Qualität der gesammelten Informationen bis hin zum Umfang der Arbeit, die Sie in der Nachbeobachtungsphase erledigen müssen.
Idealerweise sollten Ihre Teilnehmer sein:
- Repräsentativ für Ihre Zielgruppe. Versuchen Sie, Teilnehmer zu rekrutieren, die Ihrem Zielbenutzerprofil in Bezug auf Demografie (Alter, Geschlecht, Beruf usw.) sowie in Bezug auf ihre Technologieerfahrung und die Art und Weise, wie sie Ihr Produkt verwenden, entsprechen.
- Engagierte Nutzer. Finden Sie Personen, die Ihr Produkt bereits verwenden — sie sind eher bereit, Zeit damit zu verbringen, ihre Gedanken und Gefühle zur Verwendung des Produkts aufzuzeichnen.
- Bereit, Feedback zu geben. Stellen Sie sicher, dass Ihre Teilnehmer offen für Feedback sind und zur Verbesserung des Produkts beitragen möchten. Dies ist besonders wichtig, wenn Sie nach Kommentaren zu bestimmten Designfragen suchen.
- Zur Nachverfolgung verfügbar. Sie müssen Ihre Teilnehmer sowohl während als auch nach Abschluss der Studie kontaktieren, um ihre Tagebuchdaten zu sammeln und Feedback zum Prozess zu erhalten. Wählen Sie Personen aus, die leicht zu erreichen sind und bereit sind, Ihre Fragen zu beantworten.
Jetzt, da Sie wissen, wen Sie suchen, wie rekrutieren Sie sie? Eine Möglichkeit besteht darin, eine Rekrutierungsnachricht auf der Website oder im Blog Ihres Unternehmens oder auf Social-Media-Websites wie Twitter und Facebook zu veröffentlichen. Sie können auch traditionelle Personalvermittler für Forschungszwecke einsetzen.
Eine andere Möglichkeit besteht darin, Ihre bestehende Nutzerbasis zu kontaktieren. Wenn Sie eine Mailingliste haben, senden Sie eine E-Mail, in der Sie Personen zur Teilnahme einladen. Sie können sogar versuchen, Personen zu kontaktieren, die kürzlich Ihr Support-Team kontaktiert oder Kommentare auf Ihrem Blog oder Ihren Social-Media-Seiten hinterlassen haben.
Rekrutierungsplattformen sind eine neuere Option. Befragter ist eine Rekrutierungsplattform, auf der Millionen von Fachleuten vorab geprüft und qualifiziert werden. Wenn für Ihre UX-Recherche bestimmte Benutzer aus bestimmten Berufen oder auf bestimmten beruflichen Ebenen erforderlich sind, sollten Sie Folgendes in Betracht ziehen Befragter. Und Respondent macht nicht nur die Rekrutierung einfach, sondern macht auch Mahnungen und Prämien sofort einsatzbereit
Tagebuchstudien: Die Mühe lohnt sich
Für eine erfolgreiche Tagebuchstudie ist es wichtig, über die Ziele der Studie und die Art der Informationen nachzudenken, die Sie sich erhoffen. Stellen Sie sicher, dass Sie ein Studienprotokoll erstellen, in dem die Aufgaben und Fragen, die den Teilnehmern gestellt werden, sowie das Format, in dem die Tagebücher gesammelt und analysiert werden, beschrieben werden. Bleiben Sie mit Ihren Teilnehmern in Kontakt, um sicherzustellen, dass sie engagiert sind und Beiträge einreichen. Am Ende der Studie erhalten Sie die authentischen und umfassenden Erkenntnisse, die Sie zur Verbesserung Ihrer Benutzererfahrung benötigen und die mit anderen Forschungsmethoden kaum zu erhalten wären.
Ressourcen empfehlen:
