[WikiDyd] [TitleIndex] [WordIndex

Laboratorium projektowania i wytwarzania systemów informatycznych opartych na graficznym interfejsie użytkownika


Materiały zostały opracowane w ramach realizacji Programu Rozwojowego Politechniki Warszawskiej.

http://prpw.iem.pw.edu.pl/images/KAPITAL_LUDZKI.gifhttp://prpw.iem.pw.edu.pl/images/EU+EFS_P-kolor.gif

http://www.pr.pw.edu.pl/ jest projektem współfinansowanym przez Unię Europejską w ramach Europejskiego Funduszu społecznego (działanie 4.1.1 Programu Operacyjnego Kapitał Ludzki) i ma na celu poprawę jakości kształcenia oraz dostosowanie oferty dydaktycznej Politechniki Warszawskiej do potrzeb rynku pracy. Będzie on realizowany przez Uczelnię w latach 2008-2015.

Ćwiczenie Nr 2

Wykonanie testów użyteczności na wskazanej przez prowadzącego aplikacji

Autor: dr inż. Robert Szmurło

1. Cel ćwiczenia

Zapoznanie się z podstawowymi zasadami przeprowadzania testów użyteczności programów komputerowych oraz stron internetowych. W ramach ćwiczenia student powinien zdobyć doświadczenie związane z przygotowywaniem testu użyteczności, przeprowadzaniem testu oraz przygotowywaniem raportu po teście użyteczności. Ćwiczenie podkreśla konieczność przeprowadzania testów użyteczności na docelowej grupie użytkowników w przypadku przygotowywania profesjonalnych systemów komputerowych.

2. Zakres badań

W ramach badań student przygotowuje zbiór zadań do wykonania przez testowanego użytkownika aplikacji internetowej, której funkcjonalność jest mu ogólnie znana. Systemem tym jest aplikacja wirtualnego dziekanatu. Dla tej aplikacji student przygotowuje zbiór zadań testowych do wykonania przez użytkownika uczestniczącego w ewaluacji interfejsu. Dysponując gotowym zbiorem zbiorem w grupach dwuosobowych studenci przeprowadzają dwa 15 minutowe testy użyteczności zmieniając swoje role: obserwator oraz tester. Po wykonaniu testu, dysponując pomiarami oraz obserwacjami studenci przygotowują raport z przeprowadzonego testu, który przedstawiają prowadzącemu w formie sprawozdania na kolejnych zajęciach.

  1. Przygotowanie zadań testowych
  2. Przeprowadzenie testu z wykonaniem pomiarów oraz obserwacji
  3. Przygotowanie raportu testu użyteczności w formie sprawozdania

Mierniki, które należy zastosować podczas testów:

  1. Skuteczność: czy udało się zrealizować zadanie?
    • Stosunek zadań ukończonych do liczby wszystkich zadań.
  2. Nauka obsługi: czy łatwo się jej nauczyć?
    • Ile czasu zajmuje wykonanie poszczególnych zadań użytkownikowi, który ma do czynienia z systemem po raz pierwszy.
    • Jaki jest stosunek czasu wykonania poszczególnych zadań użytkownika podczas pierwszego wykonywania zadania do ponownego.
  3. Ergonomia: po nauczeniu się, czy szybko się używa?
    • Jaki jest czas wykonania zadania po kliku lub kilkunastu operacjach.
  4. „Pamiętalność” - czy łatwo przypominamy sobie to czego się nauczyliśmy?
    • Jaki jest czas wykonania zadania przy powtórnym teście po pewnym czasie.
  5. Błędy: czy błędów użytkownika jest niewiele i są odwracalne?
    • Liczba błędów popełnianych przez użytkowników w trakcie wykonywania zadania.
    • należy przeanalizować różne typy błędów: pomyłki użytkownika, cofnięcia operacji, anulowanie operacji, komunikaty o błędach walidacji itp.
  6. Satysfakcja: czy systemu używa się z przyjemnością?
    • Określane na podstawie ankiety. Najbardziej subiektywny miernik związany z użytecznością.

Kategoryzacja użytkowników:

  1. początkujący - potrzebują nauki obsługi,
  2. sporadyczni użytkownicy - potrzebują „pamiętalności”,
  3. zaawansowani - potrzebują ergonomii.

Podczas wykonywania testu wyróżnia się cztery główne zasady, o których trzeba pamiętać:

  1. Testujemy system, a nie uczestników („Co za niezgrabny uczestnik. Powinien nauczyć się posługiwać myszką.”)
  2. Polegamy na informacji zmierzonej ilościowo, a nie na preferencjach („Hej, ale użytkownikowi bardziej podobał się przycisk 'Szukaj' na dole ekranu.”)
  3. Wykorzystujemy zdobytą wiedzę („W sumie, to dzisiaj uczestnicy niewiele nam pomogli. Nie ma co interpretować dzisiejszych wyników. Poczekajmy, może w następnym teście pójdzie lepiej. To co? Idziemy na piwo pod kotwicę?”)
  4. Próbujemy znaleźć najlepsze rozwiązanie biorąc pod uwagę rzeczywistość swoją i użytkowników („O rany! Aby zadowolić tych użytkowników i aby pracowali wydajnie to musielibyśmy go rozwijać przez najbliższe 2 lata!”)

W raporcie należy zwrócić uwagę na cele stawiane przed testem użyteczności:

  1. Zwiększenie prędkości przyswajania (uczenia się obsługi).
    • Miernik: czas potrzebny użytkownikowi do osiągnięcia określonego poziomu zaawansowania? Aspekt ten jest najbardziej istotny w przypadku aplikacji używanych sporadycznie.
  2. Zwiększenie prędkości używania (ergonomia).
    • Jak dużo czasu zajmuje zaawansowanemu użytkownikowi wykonanie określonego zadania? Systemy intensywnie wykorzystywane. (Przykład CRM, Kasjer na Poczcie, itp.)
  3. Minimalizacja popełniania błędów.
    • Jak dużo błędów popełnia przeciętny użytkownik podczas typowej sesji z systemem?
  4. Wspomaganie szybkiego przypominania.
    • Jak dużo czasu zajmuje sporadycznemu użytkownikowi przypomnienie sobie obsługi?
  5. Podniesienie poziomu atrakcyjności.
    • Jaka część użytkowników odbiera system pozytywnie? Ilu osobom podoba się system wizualnie?

3. Program badań

isod_start.png

Rys. Okno startowe demonstracyjnej aplikacji Wirtualnego Dziekanatu

isod_postepy_w_nauce.png

Rys. Okno panelu postępów w nauce

  1. Zapoznać się z funkcjonalnością interfejsu studenta systemu Wirtualnego Dziekanatu
  2. Na podstawie zaobserwowanej w aplikacji funkcjonalności należy przygotować listę zadań testowych oraz danych testowych, które powinny być przygotowane do testu. Lista zadań powinna być wprowadzona w arkuszu kalkulacyjnym zgodnie z załączonym wzorem.
  3. Przygotować dane jakie będziemy notować / mierzyć podczas testu (należy wykorzystać załączone szablony)
  4. Przeprowadzić test użyteczności współpracując w grupach dwuosobowych
    • Co oznacza „hmm” podczas testu? Zwracamy uwagę nawet na mimikę użytkownika i przypominaj o prośbie głośnego wyrażania odczuć i uwag.
    • Notujemy wszystkie obserwacje.
    • Później opracowując raport uzupełniamy i porządkujemy notatki.
    • W trakcie nie przeszkadzamy ani nie zadajemy pytań o użyteczność.
    • Dopiero po teście:

    • Zadajemy wszystkie pytania aby rozwiać wątpliwości. Teraz użytkownicy nie zostaną rozproszeni, a pamiętają jeszcze swoje odczucia.
    • Analizujemy i uzupełniamy notatki. Spróbuj się je przełożyć na potrzebne modyfikacje systemu.
  5. Przygotować raport z testu w formie sprawozdania

4. Programy użyte w badaniach

System Wirtualnego Dziekanatu - interfejs studenta dostępny pod w adresem: http://e-dziekanat.ee.pw.edu.pl

5. Sprawozdanie

Sprawozdanie powinno składać się z dwóch części:

  1. Zbioru zadań testowych wraz z potrzebnymi danymi do przygotowania w postaci arkusza kalkulacyjnego
  2. Raportu testu użyteczności

Szablon sprawozdania:

6. Literatura

  1. Materiały do wykładu
  2. http://www.html-css-ajax.com/usability-tests.php

  3. http://www.usability.gov/

  4. Jakob Nielsen, "Usability Engineering (Interactive Technologies)"
  5. Peter P Mitchell, "A Step-by-Step Guide to Usability Testing"
  6. Joseph S. Dumas, "A Practical Guide to Usability Testing"

2015-09-23 06:44