Czy i kiedy wierzyć publikacjom naukowym?

Autor: Hanna Szajewska, Jan Łukasik

Klinika Pediatrii, Warszawski Uniwersytet Medyczny

„Wszystkie zwierzęta są równe, ale niektóre zwierzęta są równiejsze od innych”. Ten słynny cytat z Folwarku zwierzęcego George’a Orwella można odnieść również do badań i publikacji medycznych. Wszystkie są równe, ale niektóre są równiejsze od innych. W artykule krótko podsumowano najważniejsze zagadnienia związane z publikacjami naukowymi. Wiedza na temat wiarygodnych źródeł danych naukowych oraz kryteriów oceny publikacji medycznych jest przydatna zarówno dla osób zajmujących się nauką czynnie, planujących i prowadzących badania, jak i zajmujących się nią biernie, czyli korzystających z wyników badań w celu podjęcia decyzji klinicznej.

Autorzy artykułu reprezentują różne etapy kariery zawodowej. Pytania zostały sformułowane przez młodego lekarza (JŁ), będącego na początku kariery zawodowej, zainteresowanego pracą naukową. Odpowiedzi – przynajmniej częściowo – zostały opracowane wspólnie, zgodnie z konfucjuszowską zasadą: „Powiedz mi – zapomnę; pokaż mi – zapamiętam; zaangażuj mnie – zrozumiem”.

WYSZUKIWANIE INFORMACJI

• Chciałbym dowiedzieć się, czy lek A jest skuteczny w chorobie B. Gdzie w pierwszej kolejności powinienem szukać publikacji na ten temat?

Na Rycinie 1 przedstawiono hierarchię źródeł wiarygodnych danych naukowych. W piśmiennictwie jest ona znana jako hierarchia 6S (ang. studies; synopses of studies; syntheses; synopses of syntheses; summaries; systems)[1]. Wyszukiwanie należy rozpocząć od najwyższego dostępnego poziomu.

Na szczycie piramidy są komputerowe systemy wspomagania decyzji klinicznych (ang. systems). Biorąc pod uwagę, że takie systemy nie są powszechnie dostępne, w praktyce warto skorzystać z wytycznych postępowania klinicznego oraz podręczników w wersji elektronicznej, często aktualizowanych, opartych na danych naukowych (ang. summaries). Dobrym przykładem jest UpToDate (adresy wszystkich stron internetowych podano w Tabeli 1). W Polsce takim odpowiednikiem, ale tylko w zakresie interny, mogą być Choroby wewnętrzne. Podręcznik multimedialny oparty na zasadach EBM. Niestety, dostęp do nich jest płatny.

Kolejny poziom to podsumowania danych z przeglądów systematycznych (ang. synopses of syntheses), przydatne zwłaszcza wtedy, kiedy dysponujemy ograniczonym czasem, niepozwalającym na zapoznanie się z całym przeglądem systematycznym. Takie podsumowania stanowią część przeglądów Cochrane. Można je znaleźć także w Evidence-Based Medicine, DARE, DynaMed oraz Journal Watch.

Następny poziom to przeglądy systematyczne (ang. syntheses; systematic reviews). Ich dobrym źródłem jest przede wszystkim Cochrane Library, ale również baza PubMed (Medline), zwłaszcza przy wykorzystaniu odpowiedniego filtra do wyszukiwania informacji.

Niżej w omawianej hierarchii są podsumowania danych z pojedynczych badań naukowych (ang. synopsis of single studies). Zwykle są one wybrane ze względu na znaczenie kliniczne oraz wiarygodność metodologiczną. Takie streszczenie można znaleźć m.in. w Evidence-Based Medicine, McMaster PLUS Database, Journal Watch (opracowywany przez New England Journal of Medicine), a w Polsce – na stronach Medycyny Praktycznej.

Najniżej w hierarchii są badania pierwotne (ang. studies), które można znaleźć w bazach danych medycznych, takich jak PubMed (Medline). Dotarcie do właściwego badania wymaga umiejętności wyszukiwania badań, a następnie oceny ich wiarygodności.

• Czy można poszukiwać publikacji za pośrednictwem zwykłych wyszukiwarek, takich jak Google?

Zwykłe wyszukiwarki internetowe, takie jak Google, Yahoo, są na pierwszym miejscu na liście wyszukiwania dowolnych, nie tylko medycznych, informacji. Równie łatwe, ale dające większą możliwość znalezienia właściwej publikacji, jest skorzystanie z wyszukiwarki Google Scholar (lub Google Books, jeżeli poszukujemy podręczników). Godna polecenia jest baza PubMed (Medline), w której indeksowana jest większość (choć nie wszystkie) publikacji. Filtr PubMed Clinical Queries ułatwia szybsze dotarcie do klinicznie istotnej informacji.

RANGA CZASOPISMA

• Najgłośniejsze publikacje wydawane są w najbardziej uznanych czasopismach. Czy oceniając wiarygodność badania, należy przywiązywać dużą wagę do czasopisma, w którym zostały opublikowane jego wyniki?

Najbardziej prestiżowe czasopisma medyczne dbają o wiarygodność przyjętych do publikacji badań. W skrócie, zwykle wymagania dotyczą protokołu badania, uwzględniającego również plan analizy statystycznej, rejestracji przed włączeniem pierwszego pacjenta do badania, dołączenia listy kontrolnej (ang. checklist), które można znaleźć na stronie gwarantującej, że wszystkie niezbędne elementy badania zostały właściwie opisane. Niektóre z prestiżowych czasopism wymagają dostarczenia surowych danych, aby dokonać niezależnej analizy. Z tym ostatnim związane są koszty; tylko nieliczne redakcje mogą sobie na to pozwolić.

Badaczom, którzy zamierzają opublikować wyniki badania w prestiżowym czasopiśmie, powyższe zasady zwykle są dobrze znane. W związku z tym na każdym etapie badania czynią starania, aby sprostać tym wymaganiom. Poza redaktorami czasopisma bardzo ważną rolę odgrywają recenzenci. Jednak nawet w najlepszych czasopismach medycznych zdarza się, że publikowane są badania, których wiarygodność bywa kwestionowana, chociaż jest to raczej sytuacja wyjątkowa. Szczegółowe zasady raportowania badań, zwiększające szansę na publikację w prestiżowym czasopiśmie, można znaleźć na stronie sieci EQUATOR (Enhancing the QUAlity and Transparency Of health Research).

JĘZYK PUBLIKACJI

• Najważniejsze publikacje są tworzone po angielsku. Czy istnieją godne zaufania źródła w języku polskim?

W każdym języku publikacje mogą być wiarygodne lub niewiarygodne. O wiarygodności decyduje nie język publikacji, ale metodyka badania i sposób raportowania. Faktycznie jednak najważniejsze publikacje są w języku angielskim, który jest lingua franca medycyny. Wszystkie najbardziej liczące się czasopisma medyczne, w każdej dziedzinie, również publikowane są w języku angielskim.

HIERARCHIA WIARYGODNOŚCI DANYCH NAUKOWYCH

• Załóżmy, że w wyniku wyszukiwania odnalazłem kilkadziesiąt publikacji − wśród nich badania kliniczne, różnego typu badania obserwacyjne, badania in vitro, artykuły przeglądowe. Czy istnieje hierarchia, według której na dany typ badań powinienem zwrócić szczególną uwagę?

Hierarchia wiarygodności danych naukowych to jedna z zasad praktykowania EBM (ang. Evidence Based Medicine), czyli medycyny opartej na danych naukowych[2]. Rycina 2 przedstawia hierarchię badań dotyczących oceny skuteczności interwencji leczniczych. Poza hierarchią ważna jest wiarygodność metodologiczna poszczególnych badań.

• Badania z randomizacją uznawane są za lepsze od badań obserwacyjnych. Dlaczego?

W badaniu z randomizacją uczestników przydziela się losowo do grupy eksperymentalnej i grupy kontrolnej. Lekarz (badacz) nie ma wpływu na decyzję o włączeniu do grupy eksperymentalnej albo do grupy kontrolnej. Model badania z randomizacją pozwala na uzyskanie grup podobnych pod względem znanych i nieznanych czynników rokowniczych. Badanie z randomizacją, pozwalające na ocenę związków przyczynowo-skutkowych, uznawane jest za złoty standard oceny skuteczności leczenia lub zapobiegania[3].

Stwierdzenie, że badania z randomizacją są bardziej wiarygodne od badań obserwacyjnych, jest prawdziwe, jeżeli odnosi się do oceny skuteczności interwencji leczniczych (Czy amoksycylina jest skuteczna w leczeniu zapalenia ucha środkowego?) lub profilaktycznych (Czy szczepionka przeciwko rotawirusom jest skuteczna w zapobieganiu ostrej biegunce rotawirusowej?). Jeżeli natomiast interesuje nas odpowiedź na pytanie dotyczące innych zagadnień niż ocena interwencji leczniczych, zwykle badanie obserwacyjne pozwoli uzyskać wiarygodną informację. Przykładowo, aby ocenić częstość występowania choroby (np. otyłości w populacji dzieci polskich), optymalnym modelem będzie badanie obserwacyjne, przekrojowe (ang. cross-sectional study), a nie badanie z randomizacją³. Optymalny model badania w zależności od pytania klinicznego przedstawiono w Tabeli 2.

• Jakie są rodzaje badań obserwacyjnych i czym się charakteryzują?

W badaniach obserwacyjnych ekspozycja na dany czynnik lub interwencję nie jest zależna od badacza³. Wyróżnia się badania analityczne i opisowe. Zasadnicza różnica pomiędzy nimi polega na obecności lub braku grupy kontrolnej. Główne typy badań analitycznych (z grupą kontrolną) to:

• badanie kohortowe (ang. cohort study) – w badaniach tego typu określona populacja (kohorta) zostaje podzielona na mniejsze grupy w zależności od ekspozycji na badany czynnik; grupy te są następnie analizowane w czasie i porównywane między sobą pod kątem wystąpienia stanów klinicznych (punktów końcowych) potencjalnie powiązanych z wybranym czynnikiem;
• badanie kliniczno-kontrolne (ang. case-control study) – badanie, w którym jedną grupę stanowią osoby, u których badany stan kliniczny już wystąpił, natomiast grupa kontrolna składa się z możliwie podobnych osób, u których nie odnotowano wystąpienia tego samego stanu; grupy porównuje się następnie pod kątem ekspozycji na potencjalne czynniki sprawcze; ten typ badania uznawany jest za szczególnie podatny na błędy systematyczne;
• badanie przekrojowe (ang. cross-sectional study) – w tym typie badania dla wybranej grupy ludzi w tym samym punkcie czasowym oceniana jest ekspozycja na określony czynnik oraz wystąpienie potencjalnie powiązanego z nim stanu klinicznego.

Do badań opisowych (nieposiadających grupy kontrolnej) zalicza się opis przypadku (ang. case report) oraz opis serii przypadków (ang. case series). Na podstawie badań obserwacyjnych nie jest możliwe wnioskowanie przyczynowo-skutkowe. Mogą one jednak służyć do wstępnego opisu zjawisk wymagających dalszej, bardziej wiarygodnej oceny³.

• Czy istnieją sytuacje, w których postępowanie kliniczne można oprzeć na wynikach badań obserwacyjnych?

W niektórych sytuacjach przeprowadzenie badania z randomizacją będzie niemożliwe (np. jeżeli punkty końcowe występują bardzo rzadko lub czas do ich wystąpienia jest bardzo długi) lub nieetyczne (np. badania dotyczące karmienia piersią lub palenia papierosów; żadna komisja bioetyczna nie zgodzi się na losowe włączanie uczestników do grupy interwencyjnej lub kontrolnej)³. W takich sytuacjach konieczne jest przeprowadzanie badania obserwacyjnego. Ważna jest również ocena wiarygodności badania. Wnioski z dobrze zaplanowanego i przeprowadzonego badania obserwacyjnego mogą być istotniejsze niż wnioski ze źle zaplanowanego i przeprowadzonego badania z randomizacją[4].

• Badania doświadczalne in vitro lub na zwierzętach wydają się bardzo uporządkowane − badacz ma doskonałą kontrolę nad ich przebiegiem, są prowadzone w sterylnych warunkach, nie dotyczą ich takie problemy jak efekt placebo czy brak współpracy ze strony uczestników badania. Czy można na ich podstawie wyciągać wnioski dotyczące postępowania klinicznego?

Wyniki badań doświadczalnych mogą stanowić podstawę do sformułowania hipotezy badawczej. Jednak aby interwencję zastosować w praktyce, konieczne jest zweryfikowanie jej w prawidłowo przeprowadzonym badaniu klinicznym³.

OCENA WIARYGODNOŚCI BADANIA

• Dwa odnalezione przeze mnie badania kliniczne zostały przeprowadzone na ten sam temat, płyną z nich jednak zupełnie odmienne wnioski. Jakie elementy powinienem ocenić przede wszystkim, by porównać ich wiarygodność?

Ocena wiarygodności badania zależy od modelu badania. Istnieją kryteria oceny wiarygodności badań, które pozwalają na ich szybką ocenę. Przykładem narzędzi służących do tego celu są Critical Appraisal Skills Programme (CASP) Checklist. W przypadku każdego badania należy odpowiedzieć sobie na 3 podstawowe pytania:

1. Czy wyniki badania są wiarygodne?

2. Jakie są wyniki badania?

3. Czy wyniki badania będą przydatne w praktyce klinicznej?

Szczegółowe pytania przedstawiono w Tabeli 3.

• Czy mogę wyciągnąć wnioski z publikacji naukowej, czytając samo streszczenie?

Podejmując decyzje kliniczne, zawsze warto przeczytać całą publikację, zwłaszcza metodykę, a nie tylko streszczenie. Zdarza się jednak, że do pełnej publikacji nie ma dostępu. Odpowiedź na pytanie zależy wtedy od wiarygodności streszczenia. Podobnie jak publikacja dobre streszczenie powinno zawierać informacje pozwalające ocenić, czy wyniki badania są wiarygodne, jakie są wyniki badania i czy będę one pomocne w praktyce klinicznej. Aby poprawić wiarygodność streszczenia w artykule (lub zgłaszanego na konferencję naukową), warto korzystać ze wskazówek dla autorów, jakie elementy powinien uwzględniać abstrakt[5].

ISTOTNOŚĆ STATYSTYCZNA I KLINICZNA

• W publikacji z prawidłowo przeprowadzonego badania klinicznego przeczytałem, że lek A łagodzi objawy choroby B i efekt ten jest istotny statystycznie (p < 0,05). Czy to wystarczy, aby zalecać stosowanie leku?

Precz z istotnością statystyczną, czyli wartością p! Tak można krótko podsumować aktualne (2016) stanowisko Amerykańskiego Towarzystwa Statystycznego (ang. American Statistical Association, AHA)[6]. Słynne p < 0,05 to arbitralny próg prawdopodobieństwa. Gdy prawdopodobieństwo zaobserwowania jakiegoś zjawiska jest mniejsze niż 5%, jego wystąpienia nie da się wytłumaczyć udziałem przypadku. Podawanie istotności statystycznej króluje w publikacjach, ale w niedalekiej przyszłości może się to zmienić. Zamiast istotności statystycznej warto podać przedział ufności (ang. confidence interval, CI), który określa stopień precyzji danego oszacowania. Zwykle podaje się 95% CI, czyli przedział, w którym z 95% pewnością znajduje się prawdziwa wartość danego parametru w badanej populacji. Im węższy przedział ufności, tym bardziej precyzyjne oszacowanie.

KONFLIKT INTERESÓW

• Co kryje się pod pojęciem „konflikt interesów” i czy należy zwracać uwagę na ten element publikacji?

Konflikt interesów można zdefiniować jako co najmniej podwójną lojalność. Jest to sytuacja, w której pojawia się niebezpieczeństwo, że profesjonalna ocena może być zdominowana przez osobiste interesy[7]. W medycynie konflikt interesów najczęściej oznacza współpracę z przemysłem farmaceutycznym lub producentami sprzętu medycznego i otrzymywane w związku z tym wynagrodzenie. Opublikowany w 2012 r. przegląd Cochrane wykazał, że w porównaniu z badaniami finansowanymi z niezależnych źródeł badania dotyczące leków lub sprzętu medycznego finansowane przez przemysł wykazywały większą skuteczność, mniej niekorzystnych wyników i korzystniejsze wnioski[8].

Konflikt interesów może mieć jednak szersze znaczenie. Przykładem niefinansowego konfliktu interesów są korzyści dla instytucji, w której pracuje badacz, lub osobiste zaangażowanie na rzecz konkretnej hipotezy badawczej.

Sam fakt, że badanie jest sponsorowane przez przemysł, nie oznacza jednak, że jego wyniki są niewiarygodne. Również sam fakt współpracy z firmami nie jest naganny. Konieczne jest jednak respektowanie standardów takiej współpracy i pełna przejrzystość. Środowisko medyczne zdaje sobie sprawę z zagrożeń wynikających ze związków lekarzy z przemysłem. Wiele towarzystw naukowych wypracowało zalecenia dla indywidualnych lekarzy (w tym dla prowadzących badania kliniczne), dotyczące powiązań finansowych z przemysłem[9]. Również czasopisma medyczne wymagają od autorów, zwykle również od redaktorów oraz recenzentów, deklaracji o potencjalnym lub rzeczywistym konflikcie interesów⁷.

• Głośnym i pobudzającym wyobraźnię tematem jest kwestia uczciwości publikowania wyników badań, szczególnie tych dotyczących skuteczności leków. Czy jest to rzeczywisty i ważny problem? Jeżeli tak, to czy istnieją sposoby weryfikacji tej kwestii?

Szacuje się, że nawet 50% badań nigdy nie zostało opublikowanych[10]. Dotyczy to również badań w pediatrii[11]. W efekcie wiele leków zostaje dopuszczonych do użycia na podstawie niepełnej informacji. Realną szansę na zmianę sytuacji stwarza aktualnie prowadzona akcja „AllTrials”. Celem kampanii, prowadzonej pod hasłem „Wszystkie badania zarejestrowane/wszystkie wyniki raportowane”, jest doprowadzenie do pełnej rejestracji i publikacji wyników wszystkich badań klinicznych. Akcję popierają m.in. takie organizacje jak Cochrane Collaboration, Światowa Organizacja Zdrowia, redaktorzy czasopism medycznych, a ostatnio (wrzesień 2016) również Organizacja Narodów Zjednoczonych.  Wspólnie wzywają one nie tylko do rejestracji wszystkich prowadzonych badań klinicznych, lecz także do udostępniania wyników. Od 2008 r. wiele czasopism medycznych wymaga rejestracji badania przed włączeniem pierwszego pacjenta[12].

Autorstwo manuskryptu:

Hanna Szajewska   A, B, E, F, G

Jan Łukasik       A, B, E, F

PIŚMIENNICTWO