De chi-kwadraattoets (in het Engels chi-squared test) is een statistische toets die wordt gebruikt voor het analyseren van de relatie tussen twee categorische variabelen.¹ In tegenstelling tot kwantitatieve variabelen, die uitgedrukt worden in numerieke waardes, wordt categorische data uitgedrukt in groepen of categorieën (bijv. geslacht, politieke partij, opleidingsniveau, ja/nee). Hoewel de chi-kwadraattoets drie varianten kent met elk hun eigen interpretatie, waaronder de geschiktheidstoets (goodness-of-fit test) en de homogeniteitstoets (test of homogeneity), beperkt dit artikel zich tot de onafhankelijkheidstoets (test of independence/association). De onafhankelijkheidstoets stelt je in staat om een antwoord te geven op de vraag: is er een samenhang tussen variabele A en variabele B? Let op, in dit artikel zullen de begrippen “afhankelijkheid” en “samenhang” afwisselend gebruikt worden, maar zij betekenen hetzelfde.

De chi-kwadraattoets werd in 1900 en de daaropvolgende jaren ontwikkeld door de Engelse wiskundige en statisticus Karl Pearson (zie figuur 1). Pearson was hiermee een van de grondleggers van de moderne statistiek. De chi-kwadraattoets is de oudste test die nog in zijn originele vorm wordt gebruikt. Door haar computationele eenvoud is het een van de populairste tests in de statistiek en wordt zij in allerlei vakgebieden regelmatig toegepast.³ Bijvoorbeeld in de genetica, waar onderzoekers bepaalde posities in het menselijk DNA proberen te identificeren die verband kunnen houden met ziektes zoals kanker of diabetes.⁴

Max Euwe (1901–1981) wordt beschouwd als Nederlands beste schaker aller tijden. In 1935 werd hij dankzij zijn logische speelstijl wereldkampioen door Aleksandr Aljechin te verslaan. Euwe speelde in zijn carrière 1603 geregistreerde partijen, waarvan er drie voortijdig gestaakt zijn en daarom buiten beschouwing worden gelaten. In dit verband spreken we niet van het geregistreerde aantal maar van het geobserveerde aantal, wat gebruikelijk is voor de analyse die we verderop gaan uitvoeren. Tabel 1 is een zogenaamde kruistabel met twee variabelen, “kleur” en “uitslag”, die een overzicht geeft van deze partijen (zie ook figuur 2). Iedere cel van een kruistabel bevat aantallen observaties, oftewel frequenties, voor een combinatie van variabelen. De inhoud van een cel is dus telbaar.

In het schaakspel mag de speler met de witte stukken de eerste zet doen. Dit geeft hem/haar een licht voordeel van een paar procent dat gedurende de wedstrijd verder uitgebreid kan worden. Vice versa heeft de speler met de zwarte stukken in het begin een even groot nadeel. We zien deze premisse terug in de tabel: er worden meer partijen gewonnen wanneer gestart wordt met wit ten opzichte van zwart (444 om 355) en er worden meer partijen verloren met zwart ten opzichte van wit (151 om 99). De onevenredige verhouding tussen het aantal winstpartijen en het aantal verliespartijen (799 om 250) kan grotendeels verklaard worden doordat Euwe een uitzonderlijk sterke schaker was, en hij daarom simpelweg meer wedstrijden won dan hij verloor. Echter, het verschil binnen het aantal winst- of verliespartijen met betrekking tot de kleur kan hierdoor niet verklaard worden.

Dit roept de vraag op: is de uitslag van de partij afhankelijk van de toegewezen kleur bij aanvang van de partij? Of is het puur toeval dat bij winstpartijen vaker gespeeld wordt met wit, en bij verliespartijen vaker gespeeld wordt met zwart? Om die vragen te kunnen beantwoorden moeten we eerst weten wat de uitslagen zouden zijn geweest indien deze onafhankelijk zijn van de kleur.

In de vorige paragraaf hebben we de geobserveerde aantallen vastgesteld. Gegeven dat de uitslag niet afhankelijk is van de kleur, kunnen we voor iedere cel het verwachte aantal als volgt berekenen: \[verwachte\text{ }aantal=\frac{rijtotaal\ \times\ kolomtotaal}{n}\] Hierin is n het totale aantal partijen. Voor bijvoorbeeld “wit-winst” is het verwachte aantal \(\frac{804\times799}{1600}=401,498\) en voor “zwart-gelijk” is dat \(\frac{796\times551}{1600}=274,122\). Deze aantallen hebben we nodig voor de chi-kwadraattoets. Zie tabel 2 voor een overzicht. Wanneer men de rij- en kolomtotalen in aanmerking neemt zou deze verdeling van uitslagen voor de hand liggender zijn dan de daadwerkelijke verdeling van uitslagen.

De tabellen met geobserveerde aantallen en verwachte aantallen zijn gevuld met data, wat ons bij de hypothese van de studie brengt. Een hypothese is een stelling die bewezen moet worden. (In de wetenschappelijke cyclus is het meestal zo dat hypothesevorming voorafgaat aan gegevensverzameling. Wij hanteren dus een iets andere volgorde.) Onderzoekers stellen altijd twee hypothesen op: de nulhypothese (H₀) en de alternatieve hypothese (H_a). Voor onze kruistabel luiden deze:

De nulhypothese stelt dat er geen effect is. In de context van dit experiment houdt het in dat, gelet op de uitslag, het niet uitmaakt met welke kleur je speelt. Daarentegen stelt de alternatieve hypothese dat er wél een effect is. Dit is de verwachting van de onderzoeker. Hij/Zij tracht daarom de nulhypothese te verwerpen (zonder daarbij integriteit en objectiviteit uit het oog te verliezen). De alternatieve hypothese zegt over het algemeen niks over de richting van de afhankelijkheid (A beïnvloedt B, of B beïnvloedt A). Omdat de kleur van de stukken voor aanvang van de wedstrijd toegewezen wordt aan de spelers, is het plausibel dat áls er een afhankelijkheid is, de kleur van de stukken invloed heeft op de uitslag van de partij. Immers, de omgekeerde richting is onmogelijk: de uitslag van de partij kan niet met terugwerkende kracht de kleur van de stukken beïnvloeden. Statistiek tart geen natuurwetten! Tevens is het mogelijk dat een derde variabele een rol speelt, bijvoorbeeld “zelfvertrouwen”, die ervoor heeft gezorgd dat Euwe beter of slechter ging presteren na toewijzing van de kleur. De kleur heeft dan indirect invloed op de uitslag, met zelfvertrouwen als mediërende factor. Nu we de hypothesen hebben opgesteld en de waardes voor de geobserveerde uitslagen en de verwachte uitslagen in kaart hebben gebracht, introduceren we het rekenmodel van de chi-kwadraattoets.

Om de nulhypothese te testen, en uitsluitsel te kunnen geven over de afhankelijkheid van de twee variabelen, worden de geobserveerde aantallen (tabel 1) vergeleken met de verwachte aantallen (tabel 2), in de veronderstelling dat de nulhypothese waar is. Hoe verder deze waardes uit elkaar liggen, des te aannemelijker is het dat de variabelen afhankelijk van elkaar zijn, en de nulhypothese dus niet waar is. Wat is dan het criterium waaraan we moeten toetsen? Dat is er in de vorm van de toetsingsgrootheid χ² (de Griekse letter “chi”, en dan gekwadrateerd). Overigens moet χ² niet verward worden met de letter X! De toetsingsgrootheid wordt als volgt berekend: \[χ^2=\sum_{i=1}^{n}\frac{\left(O_i-E_i\right)^2}{E_i}\] waarin i het celnummer, n het aantal cellen in de tabel, O (observed) het geobserveerde aantal uit cel i en E (expected) het verwachte aantal uit cel i is. Hieruit blijkt dat hoe meer de geobserveerde aantallen afwijken van de verwachte aantallen, des te groter χ² wordt. (In de breuk wordt het getal in de teller groter t.o.v. het getal in de noemer.) Een grote χ² is bewijs tegen de nulhypothese. Door de waardes uit de tabellen in te vullen krijgen we: \[χ^2=\frac{\left(444-401,498\right)^2}{401,498}+\frac{\left(261-276,878\right)^2}{276,878}+\frac{\left(99-125,625\right)^2}{125,625}+\]\[\frac{\left(355-307,502\right)^2}{307,502}+\frac{\left(290-274,122\right)^2}{274,122}+\frac{\left(151-124,375\right)^2}{124,375}\approx22,217\] Chi-kwadraat is ongeveer 22,217. Aan deze waarde van de toetsingsgrootheid is een p-waarde gekoppeld. De p-waarde is de kans op het gevonden resultaat of extremer, gegeven dat de nulhypothese waar is. De p-waarde is in dit geval 0,000015. Met andere woorden, als de kleur van de stukken niet van invloed op de uitslag zou zijn, dan zouden we bij een miljoen herhalingen van alle zestienhonderd partijen vijftien keer de geobserveerde aantallen uit tabel 1 vinden, een astronomisch kleine kans! Enfin, hoe komen we aan deze p-waarde? En wat kunnen we ermee? Daarvoor moeten we eerst een zijsprong maken.

Ingenieurs en bewegingswetenschappers zullen bekend zijn met het begrip vrijheidsgraden (degrees of freedom). Het is een instelling (in technische termen “parameter”) van een systeem die je kunt aanpassen zonder daarmee andere parameters te wijzigen. Een kubus zwevend in de ruimte heeft bijvoorbeeld zes vrijheidsgraden. Dat wil zeggen dat het op zes manieren kan bewegen: langs drie assen en om drie assen. In de statistiek komt het begrip ook veelvuldig terug, namelijk om verdelingen te beschrijven.

Voor de chi-kwadraattoets beschrijven de vrijheidsgraden een familie van chi-kwadraatverdelingen. Er bestaat een aparte chi-kwadraatverdeling voor 1 vrijheidsgraad, 2 vrijheidsgraden, 3, 4, 5, enz., die er allemaal net iets anders uitzien. Deze verdelingen zijn samengesteld onder de aanname dat de nulhypothese waar is, dus dat de twee variabelen onafhankelijk van elkaar zijn. De verdeling drukt uit wat de kans (of waarschijnlijkheid) is dat een bepaalde waarde voor chi-kwadraat of hoger gevonden zal worden; de p-waarde uit de vorige paragraaf. De onderzoeker kan zelf bepalen hoe groot deze kans maximaal mag zijn. Dit wordt het significantieniveau (ook wel de eerste letter van het Griekse alfabet, “alfa” of α) genoemd. Hoe groter alfa, hoe sneller de nulhypothese verworpen zal worden ten gunste van de alternatieve hypothese. Waarom zou je dan niet altijd een hoge waarde voor alfa kiezen? Omdat de onderzoeker zich kan vergissen: de gevonden resultaten zouden op toeval kunnen berusten. Het significantieniveau is daarom gelijk aan de kans dat de nulhypothese ten onrechte wordt verworpen – een zogenaamde Type I-fout.

In de sociale wetenschappen (psychologie, sociologie, antropologie, etc.) heerst de conventie om een significantieniveau van 0,05 (α = 5%) te gebruiken. Het significantieniveau correspondeert met een kritieke waarde voor chi-kwadraat. Als deze grenswaarde wordt overschreden door de berekende toetsingsgrootheid, dan weten we dat de kans op de gevonden resultaten kleiner is dan de gekozen alfa en wordt de nulhypothese verworpen. In de verwachting dat de variabelen onafhankelijk van elkaar zijn, acht de onderzoeker de kans op het verkrijgen van de gevonden resultaten zo klein dat hij/zij genoodzaakt is om afstand te doen van deze verwachting.

Hoe komen we aan deze kritieke waardes waarmee de berekende toetsingsgrootheid vergeleken moet worden? Deze kunnen we opzoeken in een chi-kwadraattabel. Ieder respectabel statistiekboek voor het HBO of WO bevat zo’n tabel. De chi-kwadraattabel in dit artikel, die ook afbeeldingen van de bijbehorende verdelingen toont, is slechts een fractie van uitgebreidere tabellen. Je kunt de chi-kwadraattabel als PDF-bestand hier downloaden.

In dit artikel zal niet worden uitgeweid over vrijheidsgraden omdat dit thema boven de pet gaat van ondergetekende. Het is in dezen niet relevant om te weten wat vrijheidsgraden precies zijn, wel hoe je deze berekent. Het aantal vrijheidsgraden van de chi-kwadraatverdeling wordt op basis van de kruistabel als volgt berekend: \[vrijheidsgraden=\left(aantal\ rijen-1\right)\times\left(aantal\ kolommen-1\right)\] In de bovenstaande kruistabel, waar sprake is van twee rijen (“zwart” en “wit”) en drie kolommen (“winst”, “gelijk” en “verlies”), leidt dat tot: \[vrijheidsgraden=\left(2-1\right)\times\left(3-1\right)=1\times2=2\] Kortom, een 2x3-tabel heeft 2 vrijheidsgraden.

Naast het significantieniveau en de vrijheidsgraden is het belangrijk dat de data aan voorwaarden voldoet om de chi-kwadraattoets überhaupt te mogen uitvoeren:

• de variabelen moeten categorisch zijn (in jargon zijn ze van de typen “nominaal” of “ordinaal”);
• de getrokken steekproef, n.v.t. op dit onderzoek, moet willekeurig (aselect) zijn;
• de waardes in de cellen moeten frequenties zijn;
• voor een 2x2-tabel geldt dat de frequentie in iedere cel minimaal 5 moet zijn;
• voor tabellen van een groter formaat geldt dat de frequentie in 80% van de cellen minimaal 5 en in iedere cel minimaal 1 moet zijn;
• de observaties, waaruit de frequenties zijn opgebouwd, moeten onafhankelijk van elkaar zijn.

De hamvraag is nog steeds of we de nulhypothese wel of niet kunnen verwerpen. Daarvoor moeten we nog één stap uitvoeren. We zoeken in de chi-kwadraattabel de kritieke waarde op voor 2 vrijheidsgraden en een significantieniveau van 0,05: dat is 5,991. De kans dat je resultaten vindt met een χ² van 5,991 of hoger is 5%. Tegen deze kritieke waarde moeten we de door ons berekende toetsingsgrootheid afzetten: 22,217. Bij een overschrijding van de kritieke waarde door de toetsingsgrootheid is het resultaat significant en wordt de nulhypothese verworpen. 22,217 > 5,991; het resultaat is significant. Het moge duidelijk zijn dat we de nulhypothese moeten verwerpen. (Zie figuur 2 voor een visualisatie van de resultaten.) In het wetenschappelijke paper schrijft de auteur in de Resultatensectie “χ²(2) = 22,217; p = 1,5 x 10^-5”. De analyse (Python) en de dataset⁵ (PGN) kun je als ZIP-bestand hier downloaden.

De conclusie van ons onderzoek is dat afhankelijkheid tussen de variabelen “kleur” en “uitslag” wordt ondersteund door de resultaten. In het trekken van conclusies kan men makkelijk de mist ingaan. Vaak zijn de claims die in de Conclusiesectie gemaakt worden ongeoorloofd: er worden krachtige beweringen gedaan die helemaal niet gedemonstreerd worden door de resultaten van het onderzoek. Daarom is het raadzaam om altijd terughoudend te zijn in je conclusies. Te ferme beweringen kunnen in toekomstig onderzoek zomaar onderuit gehaald worden.

Hoe groot is nou het effect van kleur op de uitslag? Eén methode om de effectgrootte te beoordelen voor kruistabellen groter dan 2x2 is door Cramérs V te berekenen. Dat is een optie bij statistische software zoals SPSS of JASP. In dit artikel nemen we genoegen met de conclusie dat onze bevindingen suggereren dat de uitslagen van Max Euwes schaakpartijen – zij het in enige mate – werden beïnvloed door de kleur waarmee hij speelde.

Een tekortkoming van dit onderzoek is dat de onderzoeksvraag gesteld wordt ná de dataverzameling. Men spreekt dan van een post-hoc-analyse. Normaliter wordt voorafgaand aan een experiment een onderzoeksvraag gesteld en vinden pas daarna de metingen plaats. In het huidige onderzoek is een specifieke dataset uitgekozen die bij de chi-kwadraattoets een significant resultaat opleverde, na eerst verschillende datasets geanalyseerd te hebben die geen significant resultaat opleverde.

Hier volgen in een notendop de stappen die we in dit artikel gevolgd hebben om de chi-kwadraattoets te kunnen uitvoeren:

1. Stel een hypothese op.
2. Vul een kruistabel voor geobserveerde aantallen met verzamelde gegevens.
3. Check of aan alle voorwaarden voldaan is.
4. Vul een kruistabel voor verwachte aantallen met berekende waardes.
5. Bereken het aantal vrijheidsgraden (vg).
6. Kies het significantieniveau (sn), doorgaans 0,05.
7. Bereken chi-kwadraat.
8. Controleer in de chi-kwadraattabel voor de betreffende vg en sn de kritische waarde.
9. Is de chi-kwadraat die je berekend hebt groter dan de kritische waarde?
   • Zo nee, verwerping van de nulhypothese is niet gerechtvaardigd. Conclusie: de uitspraak dat er een samenhang is tussen de variabelen wordt niet ondersteund.
   • Zo ja, verwerp de nulhypothese. Conclusie: de uitspraak dat er een samenhang is tussen de variabelen wordt ondersteund.

The Art of Statistics – David Spiegelhalter

1. Moore, D.S., & McCabe, G.P. (2006). Introduction to the Practice of Statistics (5th ed.). USA: W.H. Freeman and Company.

2. Wikipedia, The Free Encyclopedia. (2025, April 30). Karl Pearson. https://en.wikipedia.org/wiki/Karl_Pearson

3. Franke, T.M., Ho, T., & Christie, C.A. (2012). The Chi-Square Test: Often Used and More Often Misinterpreted. American Journal of Evaluation, 33(3), 448-458. DOI: https://doi.org/10.1177/10982140114265

4. Sei, Y., & Ohsuga, A. (2021). Privacy-preserving chi-squared test of independence for small samples. BioData Mining, 14(6), 1-25. DOI: https://doi.org/10.1186/s13040-021-00238-x

5. Max Euwe Centrum. (Geraadpleegd op 3 maart 2024). Max Euwes partijen. https://maxeuwe.nl/max-euwe-s-partijen/

↵ Terug naar de homepage