Statistische significantie
Statistische significantie betekent dat het gevonden resultaat (waarschijnlijk) niet op toeval berust, m.a.w. dat de gevonden waarde in belangrijke mate afwijkt van de onder de nulhypothese te verwachten waarde. De nauwkeurigheid van een statistisch significant resultaat wordt weergegeven door een p-waarde.
De nulhypothese stelt dat een gevonden verschil (in effect) of een gevonden verband op toeval berust, m.a.w. dat er in werkelijkheid geen verschil (in effect) of geen verband bestaat. De nulhypothese is het uitgangspunt van statistische toetsen die de kans berekenen dat een resultaat (verschil of verband) aan het toeval kan worden toegeschreven.
Onterecht aannemen van de nulhypothese = Type-II-fout (b-fout)
Dus: aannemen dat er geen verschil (tussen twee interventies) of geen verband bestaat, terwijl dit in werkelijkheid wel het geval is. De kans op een type-II-fout (b) hangt af van de steekproefgrootte. Hoe groter de steekproef, des te kleiner is b en des te kleiner is de kans op een type-II-fout. De kans om geen type-II-fout te maken (1-b) is de power van een studie.
Betrouwbaarheidsinterval - BI (Eng: Confidence Interval – CI)
In een klinische studie kan men zelden de gehele populatie onderzoeken. Meestal moet men zich beperken tot een kleinere groep binnen de gehele populatie (een steekproef). Op grond van het resultaat in de steekproef wil men uitspraken doen over eigenschappen van de gehele populatie. Het betrouwbaarheidsinterval geeft het gebied van waarden aan, waarbinnen de werkelijke waarde in de populatie met een zekere graad van waarschijnlijkheid ligt. Meestal wordt een waarschijnlijkheid van 95% gebruikt. Dit betekent dat, wanneer we het onderzoek 100 maal in dezelfde populatie met verschillende steekproeven zouden herhalen, 95 van de herhalingen een resultaat geven dat binnen het interval ligt. Dit noemen we een 95% betrouwbaarheidsinterval (95% BI). Het betrouwbaarheidsinterval zegt iets over de nauwkeurigheid van de in de studie gevonden waarden. De onder- en bovengrens van het betrouwbaarheidsinterval worden de nauwkeurigheidsmarges of betrouwbaarheidsgrenzen genoemd. Hoe dichter die grenzen bij elkaar liggen, dus hoe kleiner het interval, des te nauwkeuriger is de schatting van het werkelijke effect. Het betrouwbaarheidsinterval hangt af van de variabiliteit (in de vorm van de standaarddeviatie) en de grootte van de steekproef (het aantal personen in de onderzoekspopulatie). Hoe groter de steekproef, des te smaller is het betrouwbaarheidsinterval.
De standaarddeviatie (S) = √ variantie (√S²) = de gemiddelde afwijking van alle waarden ten opzichte van de gemiddelde waarde. Hoe groter de standaarddeviatie, hoe meer de waarden onderling verschillen en hoe minder waarden gelijk zijn aan de gemiddelde waarde. Hoe kleiner de standaarddeviatie, hoe homogener de verdeling is.
De p-waarde is een maat voor de kans dat de nulhypothese ten onrechte is verworpen. Met behulp van een statistische toets wordt een waarde tussen 0 en 1 bepaald waarbij 1 = het gevonden resultaat berust op toeval en 0 = het gevonden resultaat berust niet op toeval en duidt op een werkelijk verschil (in effect) of een werkelijk verband. Als grens voor statistische significantie neemt men meestal p=0,05. Indien p≤0,05, dan is de kans dat het gevonden resultaat aan het toeval te wijten is kleiner of gelijk aan 5%.
De power is de mogelijkheid van een studie om de nulhypothese te verwerpen (en dus een eventuele werkelijk bestaande associatie aan te tonen). De power wordt bepaald door een aantal factoren, waaronder het voorkomen van de bestudeerde aandoening (de prevalentie), de grootte van het effect, de onderzoeksopzet en de grootte van de steekproef. Bij aanvang van een studie kiezen de onderzoekers zelf de gewenste power om hiermee de benodigde steekproefgrootte te berekenen. Meestal wordt een power van 80% als minimale vereiste beschouwd. Dit betekent dat er 80% kans is dat de studie een effect kan aantonen.