Abweichungen vom rein statistischen Verfahren
Es ist erklärtes Ziel der Variantengrammatik des Standarddeutschen, ein Nachschlagewerk zu liefern, das auf korpuslinguistischer Methodik beruht und streng empirisch fundiert ist. Um dem gerecht zu werden, wurde ein Arbeitsablauf zur Erstellung eines Artikels entworfen, in dessen Zentrum ein statistisches Verfahren zur Ermittlung von Signifikanz beobachteter linguistischer Phänomenverteilungen steht (s. Arbeitsablauf beim Verfassen von Artikeln).
Der Chi-Quadrat-Test ist – wie auch andere Signifikanztests – ein Verfahren, das verhindern soll, dass empirisch ermittelte Unterschiede der Auftretenshäufigkeiten eines Phänomens als relevant erachtet werden, obwohl es sich de facto um zufällige Differenzen handelt. Der Test dient also als Absicherung gegen Zufallsbefunde. Er liefert zu dem Zweck eine Wahrscheinlichkeit für das zufällige Auftreten der beobachteten Häufigkeitsverteilung. Je geringer die Wahrscheinlichkeit desto höher kann das Vertrauen sein, dass die Beobachtung nicht dem Zufall, sondern anderen – im vorliegenden Fall variationsbedingten – Gründen geschuldet ist. Damit der Test verlässlich eine Zufallswahrscheinlichkeit liefern kann, ist eine ausreichend große Stichprobe nötig. Insbesondere für den Chi-Quadrat-Test gilt es als Mindestanforderung, dass sowohl die beobachteten als auch die errechneten zu erwartenden Häufigkeiten alle mindestens eine Größe von 5 haben. Eine etwas aufgeweichtere Anforderung verlangt, dass 80% der Häufigkeiten den Wert von mindestens 5 aufweisen müssen. Hat eine der beobachteten Häufigkeiten einen Wert von 0, ist der Test überhaupt nicht anwendbar.
Genau dieser Fall tritt aber mitunter auf bei einigen Zählungen, die auf dem zu Grunde liegenden Korpus ermittelt wurden. Verschärft wird dieser Trend dadurch, dass die vorhandene Stichprobe für manche Areale wesentlich geringer ist als für andere (s. Korpusgrößen). Es gibt Varianten, die derart eindeutig areal definiert sind, dass sie in anderen Arealen überhaupt nicht vorkommen. Dabei handelt es sich zum Teil um offensichtliche Varianten, die von lokalen Sprechern zweifelsfrei als solche identifiziert werden können.
Andererseits gibt es natürlich auch Fälle, bei denen der Test rechnerisch anwendbar ist, die oben beschriebenen Mindestanforderungen aber nicht erfüllt sind. In beiden Fällen obliegt es letztlich der Expertise der Verfasserinnen, zu entscheiden, ob ein Eintrag gerechtfertigt ist oder nicht. Es ist schon in der strukturellen Anlage des Projektes mitgedacht, dass die methodische Ausrichtung der Variantengrammatik in solchen Fällen nicht komplett zu Gunsten einer linguistischen Einzelsprecherintuition aufgegeben werden muss. In zweierlei Hinsicht wurde dem Rechnung getragen: Einerseits dadurch, dass es sich um ein trinationales Projekt handelt, dessen Gruppen Mitglieder aus unterschiedlichen Arealen vereinen. Andererseits dadurch, dass die Verfasserinnen linguistische Phänomenbereiche in voller Breite abdecken, so dass sie in der Lage sind, die Zahlen, die Korpusabfrage und die statistische Auswertung vor einem Gesamtbild der gefundenen Ergebnisse auszuwerten und zu interpretieren. In Grenz- und Zweifelsfällen konnten so ad hoc Expertengremien gebildet werden, die im Konsens darüber entschieden haben, ob ein Befund als Variante zu behandeln ist oder nicht. Flankierend wurden in dieser Situation soweit sinnvoll weitere statistische Tests (t-Test, Fischer-Exakt-Test) durchgeführt. Solche Entscheidungen bilden aber immer Ausnahmen, in den allermeisten Fällen konnte das testbasierte Verfahren ohne Abweichungen angewendet werden.
Es bleibt dennoch zu betonen, dass es ein Desiderat für die Korpuslinguistik darstellt, eine flexiblere Infrastruktur an die Hand zu bekommen, die es auch in solchen Fällen erlauben würde, ein dezidiert empirisches Programm zu verfolgen. Insbesondere wäre es wichtig, Werkzeuge zu entwickeln, die ein sehr viel interaktiveres Operieren mit den Daten erlauben, um beispielsweise variabel und live Korpora definieren zu können oder einen stichprobengerechten Signifikanztest auszuwählen. Ohne die nötige technische Unterstützung stößt man hier sehr schnell an zeit- und resourcenbedingte Grenzen.