Userorientierte
Bewertung medizinischer Web Sites (Zusammenfassung der Studie)
Rainer Schalnus, Peter Pinger und Mitarbeiter
Fazit / Zusammenfassung der
Studie
- Anahand von 97 Einzelkriterien wurde bei
19 Gesundheitsportalen in den Kategorien Content, Service
und Usability & Accessibility die
- durchschnittliche Qulität untersucht
- und ein Ranking
zusammengestellt
- folgende Massnahmen
zur Optimierung der Informationsangebote vielr Gesundheitsportale
sollten vorrangig angeangen werden:
- eindeutige Zuordnung
von redaktionellen Inhalten zu Autoren
- Verbesserung der
Tranparenz
- konsequente oder
zumindest erkennbare Trennug von Werbung und redaktionellem
Inhalt
- eindeutige und korrekte
Anbieterkennzeichnung i.S. des TDG und MDStV
- Verbesserung der
inhaltlichen Tiefe, insbesondere bei chronischen Erkrankungen
mit hohem Informationsbedarf der Erkrankten (i.S. einer
Verbesserung des Patienten-Empowerment)
- Datensätze
von recherchierbaren Datenbankangeboten vervollständigen
oder eindeutige Hinweise auf NIcht-Vollständigkeit
- Optimierung von
Suchfunktionen (Nuzterfreundlichkeit und Qualität
des Suchergebnisses innerhalb der Site)
- Barrierefreiheit,
insbesondere für Seh- und Mobilitäsbehinderte
- die Evaluation der Qualität setzt ein
systematisches und hinreichend dichtes Messgrössen- /
Kriteriennetz (quantitative Checkliste) voraus und darf nicht
auf wenigen Einzelbewertungen von Inhalten beruhen (z.B. einzelne
e-mail Abfragen usw.)
- sinnvolle Qualitätsstudien, insbesondere
vergleichende Qualitätsstudien (Rankings) von webbasierten
Gesundheitsinformationen sollten folgende Voraussetzugen erfüllen:
- quantitatives Checklisten-basiertes und
soweit möglch, objektives Evaluationssystem, das
eine hinreichende und inter- sowie intraindividuelle Reproduzierbarkeit
gestattet
- Vergleich der Gesamtqualität nur
von Informationsangeboten derselben oder zumindest ähnlicher
Anbieterklassen (z.B. Gesundheitsportale)
- Vergleich der Qualität nur von identische
Kriteriengruppen / Kategorien (z.B. Nutzerfreundlichkeit),
wenn es sich um Angebote aus unterschiedlichen Anbieterklassen
( z.B. Gesundheitportale, Kliniken, usw.) handelt
Hintergrund
Bislang befassen sich eine Reihe von Projekten
mit der Qualitätsevaluierung medizinischer Websites (z.B. HON,
DISCERN, OMNI, TEAC-Health). Die quantitative Aussagekraft und
die Wahl von Bewertungsschwerpunkten durch den User ist bei
vielen dieser Instrumente zur Zeit jedoch noch sehr eingeschränkt.
Wichtige Ansprüche an ein Bewertungsinstrument und die Ergebnisdarstellung
sollten sein: Transparenz, quantitativer Bewertungsprozess,
Reproduzierbarkeit, allgemeine Verfügbarkeit und Einflussnahme
des Users auf das Bewertungsprofil. Ziel ist somit die Bereitstellung
von Instrumenten, die sowohl eine individuelle und, soweit möglich,
reproduzierbare Bewertung aber auch ein Ranking von medizinischen
Informationsanbietern im Web gestattet. Dabei sollten neben
rein inhaltlichen Gesichtspunkten auch webtypische Aspekte evaluiert
werden.
Methoden
Die Evaluation der Web Sites erfolgte in folgenden
Kategorien: Content (Gewichtung 55 %), Services (Gewichtung 9 %)
und Usability & Accessibility (36 %). Dabei fanden ethische
Aspekte, Patientenbelange und die Charakteristika eines “Peer-Review”
besondere Berücksichtigung. Die Bewertung innerhalb der jeweiligen
Kategorien wurde anhand von insgesamt 97 gewichteten Einzelkriterien
mittels einer eigens zu diesem Zweck entwickelten Bewertungsvorschrift
(Checkliste) vorgenommen. Dei Bewertung erfolgte von 3 unabhängigen
Untersuchern.
|
Kategorie
|
Gewichtung
in der Bewertung
|
Unterkategorien |
Anzahl
der Kriterien
|
|
Content
|
55%
|
Informationsqualität, Schwerpunkte,
Beratungsqualität, Seriosität, Aktualität |
55
|
|
Service
|
9 %
|
webtypische Online-Services,
angebotene Sprachen, fachspezifische Online-Services, Zugriff
auf Datenbanken / Suchfunktionen (nicht Navigation) |
24
|
|
Usability
& Accessibility
|
36 %
|
Performance, Interface-Design /
Navigation, Linking, Interaktivität, Page- / Site- / Grafikdesign |
18
|
Die Bewertungsgewichtung orientierte sich dabei
an einer Befragung von 1304 Personen. Die
Bewertungsdaten wurden in einer Datenbank abgelegt und sind online
verfügbar. Im Rahmen unserer Untersuchung wurden zunächst 19
sogenannte „Gesundheitsportale“ bewertet.
Ergebnisse
Die Untersuchungsergebnisse (Stand 31.07.01) erlauben
neben einer Querschnittsbetrachtung auch ein Ranking nach Gesamtqualität
oder Kategorien bzw. Unterkategorien der Gesundheitsinformationen.
Gesamtqualität
Alle untersuchten Informationsangebote erreichten
zwischen 20% und 80% der geforderten Gesamtqualität. Die
Qulität der meisten Informationsangebote lagen jedoch unter
50%, wobei sich der grösste Teil der Gesundheitsportale
im Bereich zwischen 30 und 40 Prozent der Gesamtqualität
befand.

Qualität
in der Kategorie "Content"
Die Contentqualität aller Gesundheitsportale lag
zwischen 10 und 90 Prozent. Die überwiegende Anzahl der Informationsangebote
erzielte weniger als 40% der maximal möglichen Contentqualität,
gut ein viertel der Gesundheitsinformationen zeichnete sich durch
eine Contenqualität von über 50% aus.

Die grössten Defizite in der Kategorie
Content zeigten sich in oftmals geringer inhaltlicher Tiefe
der Gesundheitsinformationen und Einschränkungen in der
Seriosität: oft werden Autoren nicht genannt, das Impressum
ist unvollständig oder es finden sich Verstösse gegen
das Teledienstegesetz. Vielfach lassen die Internetpräsenzen
Transparenz vermissen, nicht selten wird Werbung für den
Nutzer nicht erkennbar und transparent vom redaktionellen Inhalt
getrennt. Oft sind Datenbanken (z.B. Arztsuche) für den
Nutzer nicht erkennbar unvollständig oder vom Bestand her
veraltet.
Qualität
in der Kategorie "Service"
Dei Servicequalität lag bei gut zwei Dritteln
der Informationsangebote über 50%. Viele der Websites ware
mit Serviceangeboten wie Dantenbanken, Diskussionsforen, Quizzes
oder interaktiven Tests ausgestattet.
Qualität
in der Kategorie "Usability & Accessibility"
In dieser Kategorie waren die Informationsangebote
besonders schlecht. Bei über drei vierteln der Gesundheitsportale
lag die Qualität von Nutzerfreundlichkeit und Barrierfreiheit
unter 30%.

Vielfach sind Suchfunktionen wenig nutzerfreundlich,
spezielle Inhalte sind schlecht oder gar nicht auffindbar.
Die meisten Angebote sind von Behinderten, insbesondere
Sehbehinderten nicht oder nur sehr eingeschränkt zu
erschliessen.
Ranking
der evaluierten Gesundheitsinformationen
Diskussion
Häufige
Defizite
Die Studie liess insbesondere folgende Defizite
von webbasierten Gesundheitsinformationen erkennen:
- oft keine Autorennennung
- geringe Transparenz
- inhaltliche Tiefe oft
gering
- Verstösse gegen Teledienstegesetz
- verdeckte Werbung
- Datenbanken für User nicht erkennbar unvollständig
- spezielle Inhalte oft schlecht aufzufinden
- Suchfunktionen nicht nutzerfreundlich
- Angebote nicht behindertengerecht / barrierefrei
Diskussion
zur Methodik der Qualitätsevaluation
Die Studie zeigte insbesondere folgende
Defizite auf:
- Die Evaluationsmethode erlaubt sowohl die
Individualanalyse als auch ein Ranking der Informationsangebote
- in gewissen Grenzen können reproduzierbare
Ergebnisse erzielt werden
- die Evaluation der medizinischen Informationen
ist sehr aufwendig
- Vergleichbarkeit ist gegeben
- nur für identische Kriteriengruppen
- nur für identische Anbieterklassen
Schlussfolgerungen
- folgende Massnahmen
zur Optimierung der Informationsangebote vielr Gesundheitsportale
sollten vorrangig angeangen werden:
- eindeutige Zuordnung
von redaktionellen Inhalten zu Autoren
- Verbesserung der
Tranparenz
- konsequente oder
zumindest erkennbare Trennug von Werbung und redaktionellem
Inhalt
- eindeutige und korrekte
Anbieterkennzeichnung i.S. des TDG und MDStV
- Verbesserung der
inhaltlichen Tiefe, insbesondere bei chronischen Erkrankungen
mit hohem Informationsbedarf der Erkrankten (i.S. einer
Verbesserung des Patienten-Empowerment)
- Datensätze
von recherchierbaren Datenbankangeboten vervollständigen
oder eindeutige Hinweise auf NIcht-Vollständigkeit
- Optimierung von
Suchfunktionen (Nuzterfreundlichkeit und Qualität
des Suchergebnisses innerhalb der Site)
- Barrierefreiheit,
insbesondere für Seh- und Mobilitäsbehinderte
- die Evaluation der Qualität setzt ein
systematisches und hinreichend dichtes Messgrössen- /
Kriteriennetz (quantitative Checkliste) voraus und darf nicht
auf wenigen Einzelbewertungen von Inhalten beruhen (z.B. einzelne
e-mail Abfragen usw.)
- sinnvolle Qualitätsstudien, insbesondere
vergleichende Qualitätsstudien (Rankings) von webbasierten
Gesundheitsinformationen sollten folgende Voraussetzugen erfüllen:
- quantitatives Checklisten-basiertes und
soweit möglch, objektives Evaluationssystem, das
eine hinreichende und inter- sowie intraindividuelle Reproduzierbarkeit
gestattet
- Vergleich der Gesamtqualität nur
von Informationsangeboten derselben oder zumindest ähnlicher
Anbieterklassen (z.B. Gesundheitsportale)
- Vergleich der Qualität nur von identische
Kriteriengruppen / Kategorien (z.B. Nutzerfreundlichkeit),
wenn es sich um Angebote aus unterschiedlichen Anbieterklassen
( z.B. Gesundheitportale, Kliniken, usw.) handelt
1. Kushniruk AW, Patel
C, Patel VL, Cimino JJ: Televaluation of clinical information
sys-tems: an integrative approach to assessing Web-based systems.
IJMI 61 (2001) 45-70
2. ISO 13407: Human-centered design processes
for interactive systems, 1999
3. ISO 9241-1 to 17:1997 bis 2000, Ergonomic
requirements for office work with visual display terminals (VDTs)
4. W3C Web Accessibility Initiative: www.w3.org/WAI/
5. Nielsen J: Heuristic evaluation. In Nielsen
J and Mack RL (Eds.): Usability Inspection Me-thods, John Wiley
& Sons, Inc., New York, NY. 1994, 25-62
6. Wixon D: The Usability Engineering Framework
for Product Design and Evaluation. In: Helander M, Landauer
TK, Prabhu P (eds): Handbook of Human-Computer Interaction (2nd
Ed), Elselvier Science BV,1997, 653-688
7. Lynch, Patrick J., Horton, Sarah: Web Style
Guide : Basic Design Principles for Creat-ing Web Sites Yale
University Press, März 1999, ISBN: 0300076746
8. Horton, W: Designig and writing online documentation.
2nd Edition , John Wiley & Sons, Inc. 1994
9. Merx, Oliver (Ed): Qualitätssicherung bei
Multimediaprojekten. Springer, Berlin, Heidel-berg 1999, ISBN
3-540-65409-7
10. HON - Health On the Net Foundation: www.hon.ch
11. DISCERN: www.discern.org.uk
12. OMNI: http://omni.ac.uk
13. Winker MA, Flanagin A, Chi-Lum B, White
J, Andrews K, Kennett RL, DeAngelis CD, Musacchio RA: Guidelines
for AMA Web Sites. JAMA, March 22/29, 2000-Vol283, No 12, 1602-1606
URAC: Health Web Site Standards. Public Comment Draft, Februar
2001
14. Gesenhues S, Ziesche R: Praxisleitfaden
Allgemeinmedizin. Urban & Fischer 2001, 3. Auflage, ISBN: 3437224409
Publikation
/ Quelle:
Informatik,
Biometrie und Epidemiologie in Medizin und Biologie 2001, 32: 267
page update 1 Dezember, 2002
|