Homepage Rainer Schalnus
Studie: nutzerorientierte Bewertung der Qualität von Medizin- Gesundheits- und Patienteninformation im Internet: Content, Service, Nutzerfreundlichkeit (Usability), Barrierefreiheit (Accessibility). Autoren: Schalnus, Heinemann, Romero, Pinger
home | wissenschaftliche studien | editorial | vorlesung | gesundheit im web | links | faq | kontakt & impressum | disclaimer

Userorientierte Bewertung medizinischer Web Sites (Zusammenfassung der Studie)

Rainer Schalnus, Peter Pinger und Mitarbeiter


Fazit / Zusammenfassung der Studie

  • Anahand von 97 Einzelkriterien wurde bei 19 Gesundheitsportalen in den Kategorien Content, Service und Usability & Accessibility die
    • durchschnittliche Qulität untersucht
    • und ein Ranking zusammengestellt
  • folgende Massnahmen zur Optimierung der Informationsangebote vielr Gesundheitsportale sollten vorrangig angeangen werden:
    • eindeutige Zuordnung von redaktionellen Inhalten zu Autoren
    • Verbesserung der Tranparenz
    • konsequente oder zumindest erkennbare Trennug von Werbung und redaktionellem Inhalt
    • eindeutige und korrekte Anbieterkennzeichnung i.S. des TDG und MDStV
    • Verbesserung der inhaltlichen Tiefe, insbesondere bei chronischen Erkrankungen mit hohem Informationsbedarf der Erkrankten (i.S. einer Verbesserung des Patienten-Empowerment)
    • Datensätze von recherchierbaren Datenbankangeboten vervollständigen oder eindeutige Hinweise auf NIcht-Vollständigkeit
    • Optimierung von Suchfunktionen (Nuzterfreundlichkeit und Qualität des Suchergebnisses innerhalb der Site)
    • Barrierefreiheit, insbesondere für Seh- und Mobilitäsbehinderte
  • die Evaluation der Qualität setzt ein systematisches und hinreichend dichtes Messgrössen- / Kriteriennetz (quantitative Checkliste) voraus und darf nicht auf wenigen Einzelbewertungen von Inhalten beruhen (z.B. einzelne e-mail Abfragen usw.)
  • sinnvolle Qualitätsstudien, insbesondere vergleichende Qualitätsstudien (Rankings) von webbasierten Gesundheitsinformationen sollten folgende Voraussetzugen erfüllen:
    • quantitatives Checklisten-basiertes und soweit möglch, objektives Evaluationssystem, das eine hinreichende und inter- sowie intraindividuelle Reproduzierbarkeit gestattet
    • Vergleich der Gesamtqualität nur von Informationsangeboten derselben oder zumindest ähnlicher Anbieterklassen (z.B. Gesundheitsportale)
    • Vergleich der Qualität nur von identische Kriteriengruppen / Kategorien (z.B. Nutzerfreundlichkeit), wenn es sich um Angebote aus unterschiedlichen Anbieterklassen ( z.B. Gesundheitportale, Kliniken, usw.) handelt

Hintergrund

Bislang befassen sich eine Reihe von Projekten mit der Qualitätsevaluierung medizinischer Websites (z.B. HON, DISCERN, OMNI, TEAC-Health). Die quantitative Aussagekraft und die Wahl von Bewertungsschwerpunkten durch den User ist bei vielen dieser Instrumente zur Zeit jedoch noch sehr eingeschränkt. Wichtige Ansprüche an ein Bewertungsinstrument und die Ergebnisdarstellung sollten sein: Transparenz, quantitativer Bewertungsprozess, Reproduzierbarkeit, allgemeine Verfügbarkeit und Einflussnahme des Users auf das Bewertungsprofil. Ziel ist somit die Bereitstellung von Instrumenten, die sowohl eine individuelle und, soweit möglich, reproduzierbare Bewertung aber auch ein Ranking von medizinischen Informationsanbietern im Web gestattet. Dabei sollten neben rein inhaltlichen Gesichtspunkten auch webtypische Aspekte evaluiert werden.


Methoden

Die Evaluation der Web Sites erfolgte in folgenden Kategorien: Content (Gewichtung 55 %), Services (Gewichtung 9 %) und Usability & Accessibility (36 %). Dabei fanden ethische Aspekte, Patientenbelange und die Charakteristika eines “Peer-Review” besondere Berücksichtigung. Die Bewertung innerhalb der jeweiligen Kategorien wurde anhand von insgesamt 97 gewichteten Einzelkriterien mittels einer eigens zu diesem Zweck entwickelten Bewertungsvorschrift (Checkliste) vorgenommen. Dei Bewertung erfolgte von 3 unabhängigen Untersuchern.

Kategorie
Gewichtung in der Bewertung
Unterkategorien
Anzahl der Kriterien
Content
55%
Informationsqualität, Schwerpunkte, Beratungsqualität, Seriosität, Aktualität
55
Service
9 %
webtypische Online-Services, angebotene Sprachen, fachspezifische Online-Services, Zugriff auf Datenbanken / Suchfunktionen (nicht Navigation)
24
Usability & Accessibility
36 %
Performance, Interface-Design / Navigation, Linking, Interaktivität, Page- / Site- / Grafikdesign
18

Die Bewertungsgewichtung orientierte sich dabei an einer Befragung von 1304 Personen. Die Bewertungsdaten wurden in einer Datenbank abgelegt und sind online verfügbar. Im Rahmen unserer Untersuchung wurden zunächst 19 sogenannte „Gesundheitsportale“ bewertet.


Ergebnisse

Die Untersuchungsergebnisse (Stand 31.07.01) erlauben neben einer Querschnittsbetrachtung auch ein Ranking nach Gesamtqualität oder Kategorien bzw. Unterkategorien der Gesundheitsinformationen.

Gesamtqualität

Alle untersuchten Informationsangebote erreichten zwischen 20% und 80% der geforderten Gesamtqualität. Die Qulität der meisten Informationsangebote lagen jedoch unter 50%, wobei sich der grösste Teil der Gesundheitsportale im Bereich zwischen 30 und 40 Prozent der Gesamtqualität befand.

Qualität in der Kategorie "Content"
Die Contentqualität aller Gesundheitsportale lag zwischen 10 und 90 Prozent. Die überwiegende Anzahl der Informationsangebote erzielte weniger als 40% der maximal möglichen Contentqualität, gut ein viertel der Gesundheitsinformationen zeichnete sich durch eine Contenqualität von über 50% aus.

Die grössten Defizite in der Kategorie Content zeigten sich in oftmals geringer inhaltlicher Tiefe der Gesundheitsinformationen und Einschränkungen in der Seriosität: oft werden Autoren nicht genannt, das Impressum ist unvollständig oder es finden sich Verstösse gegen das Teledienstegesetz. Vielfach lassen die Internetpräsenzen Transparenz vermissen, nicht selten wird Werbung für den Nutzer nicht erkennbar und transparent vom redaktionellen Inhalt getrennt. Oft sind Datenbanken (z.B. Arztsuche) für den Nutzer nicht erkennbar unvollständig oder vom Bestand her veraltet.

 

Qualität in der Kategorie "Service"
Dei Servicequalität lag bei gut zwei Dritteln der Informationsangebote über 50%. Viele der Websites ware mit Serviceangeboten wie Dantenbanken, Diskussionsforen, Quizzes oder interaktiven Tests ausgestattet.

 

Qualität in der Kategorie "Usability & Accessibility"

In dieser Kategorie waren die Informationsangebote besonders schlecht. Bei über drei vierteln der Gesundheitsportale lag die Qualität von Nutzerfreundlichkeit und Barrierfreiheit unter 30%.

Vielfach sind Suchfunktionen wenig nutzerfreundlich, spezielle Inhalte sind schlecht oder gar nicht auffindbar. Die meisten Angebote sind von Behinderten, insbesondere Sehbehinderten nicht oder nur sehr eingeschränkt zu erschliessen.

Ranking der evaluierten Gesundheitsinformationen

Die Evaluationsergebnisse sind in einer Datenbank hinterlegt und online verfügbar (www.healthandcare-online.com), Stand 31.07.01. Auf diese Weise ist ein nach Kategorien und Unterkategorien gewichtetes Ranking der Informationsangebote möglich.


Diskussion

Häufige Defizite

Die Studie liess insbesondere folgende Defizite von webbasierten Gesundheitsinformationen erkennen:

  • oft keine Autorennennung
  • geringe Transparenz
  • inhaltliche Tiefe oft gering
  • Verstösse gegen Teledienstegesetz
  • verdeckte Werbung
  • Datenbanken für User nicht erkennbar unvollständig
  • spezielle Inhalte oft schlecht aufzufinden
  • Suchfunktionen nicht nutzerfreundlich
  • Angebote nicht behindertengerecht / barrierefrei
Diskussion zur Methodik der Qualitätsevaluation

Die Studie zeigte insbesondere folgende Defizite auf:

  • Die Evaluationsmethode erlaubt sowohl die Individualanalyse als auch ein Ranking der Informationsangebote
  • in gewissen Grenzen können reproduzierbare Ergebnisse erzielt werden
  • die Evaluation der medizinischen Informationen ist sehr aufwendig
  • Vergleichbarkeit ist gegeben
    • nur für identische Kriteriengruppen
    • nur für identische Anbieterklassen

Schlussfolgerungen

  • folgende Massnahmen zur Optimierung der Informationsangebote vielr Gesundheitsportale sollten vorrangig angeangen werden:
    • eindeutige Zuordnung von redaktionellen Inhalten zu Autoren
    • Verbesserung der Tranparenz
    • konsequente oder zumindest erkennbare Trennug von Werbung und redaktionellem Inhalt
    • eindeutige und korrekte Anbieterkennzeichnung i.S. des TDG und MDStV
    • Verbesserung der inhaltlichen Tiefe, insbesondere bei chronischen Erkrankungen mit hohem Informationsbedarf der Erkrankten (i.S. einer Verbesserung des Patienten-Empowerment)
    • Datensätze von recherchierbaren Datenbankangeboten vervollständigen oder eindeutige Hinweise auf NIcht-Vollständigkeit
    • Optimierung von Suchfunktionen (Nuzterfreundlichkeit und Qualität des Suchergebnisses innerhalb der Site)
    • Barrierefreiheit, insbesondere für Seh- und Mobilitäsbehinderte
  • die Evaluation der Qualität setzt ein systematisches und hinreichend dichtes Messgrössen- / Kriteriennetz (quantitative Checkliste) voraus und darf nicht auf wenigen Einzelbewertungen von Inhalten beruhen (z.B. einzelne e-mail Abfragen usw.)
  • sinnvolle Qualitätsstudien, insbesondere vergleichende Qualitätsstudien (Rankings) von webbasierten Gesundheitsinformationen sollten folgende Voraussetzugen erfüllen:
    • quantitatives Checklisten-basiertes und soweit möglch, objektives Evaluationssystem, das eine hinreichende und inter- sowie intraindividuelle Reproduzierbarkeit gestattet
    • Vergleich der Gesamtqualität nur von Informationsangeboten derselben oder zumindest ähnlicher Anbieterklassen (z.B. Gesundheitsportale)
    • Vergleich der Qualität nur von identische Kriteriengruppen / Kategorien (z.B. Nutzerfreundlichkeit), wenn es sich um Angebote aus unterschiedlichen Anbieterklassen ( z.B. Gesundheitportale, Kliniken, usw.) handelt

Literatur

1. Kushniruk AW, Patel C, Patel VL, Cimino JJ: Televaluation of clinical information sys-tems: an integrative approach to assessing Web-based systems. IJMI 61 (2001) 45-70

2. ISO 13407: Human-centered design processes for interactive systems, 1999

3. ISO 9241-1 to 17:1997 bis 2000, Ergonomic requirements for office work with visual display terminals (VDTs)

4. W3C Web Accessibility Initiative: www.w3.org/WAI/

5. Nielsen J: Heuristic evaluation. In Nielsen J and Mack RL (Eds.): Usability Inspection Me-thods, John Wiley & Sons, Inc., New York, NY. 1994, 25-62

6. Wixon D: The Usability Engineering Framework for Product Design and Evaluation. In: Helander M, Landauer TK, Prabhu P (eds): Handbook of Human-Computer Interaction (2nd Ed), Elselvier Science BV,1997, 653-688

7. Lynch, Patrick J., Horton, Sarah: Web Style Guide : Basic Design Principles for Creat-ing Web Sites Yale University Press, März 1999, ISBN: 0300076746

8. Horton, W: Designig and writing online documentation. 2nd Edition , John Wiley & Sons, Inc. 1994

9. Merx, Oliver (Ed): Qualitätssicherung bei Multimediaprojekten. Springer, Berlin, Heidel-berg 1999, ISBN 3-540-65409-7

10. HON - Health On the Net Foundation: www.hon.ch

11. DISCERN: www.discern.org.uk

12. OMNI: http://omni.ac.uk

13. Winker MA, Flanagin A, Chi-Lum B, White J, Andrews K, Kennett RL, DeAngelis CD, Musacchio RA: Guidelines for AMA Web Sites. JAMA, March 22/29, 2000-Vol283, No 12, 1602-1606 URAC: Health Web Site Standards. Public Comment Draft, Februar 2001

14. Gesenhues S, Ziesche R: Praxisleitfaden Allgemeinmedizin. Urban & Fischer 2001, 3. Auflage, ISBN: 3437224409


Publikation / Quelle:

Informatik, Biometrie und Epidemiologie in Medizin und Biologie 2001, 32: 267


page update 1 Dezember, 2002
home | wissenschaftliche studien | editorial | vorlesung | gesundheit im web | links | faq | kontakt & impressum | disclaimer

© Copyright 2002 - Dr. Rainer Schalnus
feedback  •  empfehlung  •  site update 1 Dezember, 2002