<p>Die MERLIN–Texte verfügen über eine Mehrebenen-Annotation. Sie sind lemmatisiert und mit Informationen zu Wortarten versehen (POS-Tagging). Darüber hinaus sind neben einer minimal korrekten Variante des Textes (Zielhypothese) auch spezifische Merkmale der Lernersprache (L2) annotiert. Welche Merkmale manuell und welche automatisiert mit Hilfe von Natural Language Processing (NLP) annotiert wurden, erfahren Sie unter: <aclass="reference"href="C_research.php#annotations"target="_blank">Forschen mit MERLIN</a>. </p>
<p>Die MERLIN–Texte verfügen über eine Mehrebenen-Annotation. Sie sind lemmatisiert und mit Informationen zu Wortarten versehen (POS-Tagging). Darüber hinaus sind neben einer minimal korrekten Variante des Textes (Zielhypothese) auch spezifische Merkmale der Lernersprache (L2) annotiert. Welche Merkmale manuell und welche automatisiert mit Hilfe von Natural Language Processing (NLP) annotiert wurden, erfahren Sie unter: <ahref="C_research.php#annotations"target="_blank">Forschen mit MERLIN</a>. </p>
<p>Die Grundlage für die Annotationen lernersprachlicher Merkmale (L2-Merkmale) bilden die Zielhypothesen. Die „minimale Zielhypothese" (<strong>TH1</strong>) ist eine ausschließlich grammatisch und orthographisch korrekte Version des L2-Texts. Auf sie beziehen sich Annotationen aus dem Bereich Grammatik und Orthografie (EA1). </p>
<p> Für einen Teil des Kernkorpus wurden zusätzlich L2-Merkmale aus den Bereichen Wortschatz, Soziolinguistik, Pragmatik und Verständlichkeit annotiert (EA2). Diese Phänomene sind sehr häufig keine Fehler. Diese Pilot-Annotationen haben einen eher explorativen Charakter und sollten umsichtig interpretiert werden. Sie beziehen sich auf die „erweiterte Zielhypothese” (<strong>TH2</strong>).</p>
<p>Die L2-Merkmale wurden aus verschiedenen Quellen abgeleitet und sind im <ahref="C_download.php"target="_blank">Annotationsschema</a> detailliert beschrieben. Erläuterungen zur Entwicklung und Herkunft der Indikatoren, die dem Annotationsschema zugrunde liegen, können Sie unter <aclass="reference"href="C_research.php#annotations"target="_blank">Forschen mit MERLIN</a> nachlesen. Die MERLIN-Annotationen sind streng hinsichtlich ihrer Reliabilität kontrolliert worden. Lesen Sie auch dazu mehr unter <aclass="reference"href="C_research.php#anchor233"target="_blank">Forschen mit MERLIN.
<p>Die L2-Merkmale wurden aus verschiedenen Quellen abgeleitet und sind im <ahref="C_download.php"target="_blank">Annotationsschema</a> detailliert beschrieben. Erläuterungen zur Entwicklung und Herkunft der Indikatoren, die dem Annotationsschema zugrunde liegen, können Sie unter <ahref="C_research.php#annotations"target="_blank">Forschen mit MERLIN</a> nachlesen. Die MERLIN-Annotationen sind streng hinsichtlich ihrer Reliabilität kontrolliert worden. Lesen Sie auch dazu mehr unter <ahref="C_research.php#anchor233"target="_blank">Forschen mit MERLIN.
</a></p>
<divid="anchor1"></div>
<h3><ahref="#anchor1"onClick="toggle('#content1','#img1')"><imgid="img1"src="img/toggle-expand.png"></a> Exkurs: Interpretation von „Fehlern“ mit Zielhypothesen </h3>
...
...
@@ -28,7 +28,7 @@ require('F_mainsidebar.php');
<p>Diese „erweiterte Zielhypothese“ (TH2) stellt eine auch für eine Muttersprachlerin / einen Muttersprachler akzeptable Version des Lernertexts dar. TH2 berücksichtigt weitere Sprachdimensionen, wie Wortschatz und Pragmatik, die oft auch kontextabhängige Phänomene betreffen. <br/>
Diese Bewertung konnte nur für einen kleineren Teil des MERLIN-Korpus vorgenommen werden, das Kernkorpus. Es besteht aus einer Sammlung von Texten, die entweder mit A2 oder mit B2 (für Italienisch: A2 und B1/B1+) bewertet wurden.<br/>
</p>
<p>Beispiele und Erläuterungen unter <aclass="reference"href="C_research.php#annotations"target="_blank">Forschen mit MERLIN</a>.</p>
<p>Beispiele und Erläuterungen unter <ahref="C_research.php#annotations"target="_blank">Forschen mit MERLIN</a>.</p>
</div>
<h2><aname="featurelist"></a>Annotierte Merkmale mit Beispielen </h2>
@@ -626,7 +625,7 @@ Budeš mít narozeniny? Jaký dárek si přejete?</td>
</table></p>
<p><spanclass="StilSmall">* [...] für die Annotation relevanter Ausschnitt {...} Korrektur des fehlerhaften Ausdrucks</span></p>
</div>
<p><strong>Hinweis</strong>: Eine umfassende Übersicht über annotierte Merkmale bietet das <ahref="C_download.php#annotations"target="_blank">Annotationsschema</a>. Um MERLIN nach annotierten L2-Merkmalen zu durchsuchen, nutzen die <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?>Hilfe zur Suche</a>.</p>
<p><strong>Hinweis</strong>: Eine umfassende Übersicht über annotierte Merkmale bietet das <ahref="C_download.php#annotations"target="_blank">Annotationsschema</a>. Um MERLIN nach annotierten L2-Merkmalen zu durchsuchen, nutzen die <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?></a>.</p>
<h2><aname="corpus"></a>Testaufgaben und Datenvorbereitung</h2>
<p><strong>Alle Testaufgaben </strong>einschließlich detaillierter Aufgabenbeschreibung stehen zum Herunterladen und Ausdrucken auf <ahref="C_mcorpus.php#tasks"target="_blank"class="reference">MERLIN: Korpus</a> zur Verfügung.</p>
<p><strong>Alle Testaufgaben </strong>einschließlich detaillierter Aufgabenbeschreibung stehen zum Herunterladen und Ausdrucken auf <ahref="C_mcorpus.php#tasks"target="_blank">MERLIN: Korpus</a> zur Verfügung.</p>
<p><imgsrc="img/document-pdf.png"width="16"height="16"><ahref="docs/MERLIN_Technical-report.pdf"target="_blank">Technical report</a> (Technischer Bericht, nur auf Engl.): report on the reliability and scale functionality of the MERLIN written speech sample ratings, Autor: O. Bärenfänger</p>
<h2><aname="annotations"></a>Das Annotationsschema und der Annotationsprozess</h2>
...
...
@@ -22,7 +22,7 @@ require('F_mainsidebar.php');
<pdir="ltr">Rysová Kateřina, Rysová Magdaléna, Novák Michal, Mírovský Jiří, Hajičová Eva (2019): <imgsrc="img/document-pdf.png"alt="pdf"width="16"height="16"/><ahref="https://ufal.mff.cuni.cz/pbml/113/art-rysova-et-al.pdf"target="_blank">EVALD – a Pioneer Application for Automated Essay Scoring in Czech</a>. The Prague Bulletin of Mathematical Linguistics 113, 9–30. </p>
<pdir="ltr">Novák, Michal; Mírovský, Jiří; Rysová, Kateřina; Rysová, Magdaléna (2019): Exploiting Large Unlabeled Data in Automatic Evaluation of Coherence in Czech. Lecture Notes in Computer Science, Vol. 11697, Proceedings of the 22nd International Conference on Text, Speech and Dialogue – TSD 2019. Springer International Publishing, 197–210.</p>
<pdir="ltr">Rysová, Magdaléna; Rysová, Kateřina; Mírovský, Jiří; Novák, Michal (2019): <ahref="https://library.iated.org/view/RYSOVA2019COH"target="_blank">Coherence Errors in Learners’ Essays and a Possibility of Their Improvement through EVALD</a> (Automated Evaluator of Discourse). Proceedings of the 11th Annual International Conference on Education and New Learning Technologies (EDULEARN 2019). Palma, Spain: IATED Academy, 2019, pp. 6761–6768. </p>
<pdir="ltr">Boyd, Adriane (2018): <imgsrc="img/document-pdf.png"alt="pdf"width="16"height="16"/><ahref="https://www.aclweb.org/anthology/W18-6111.pdf">Using Wikipedia edits in low resource grammatical error correction</a>. Proceedings of the 2018 EMNLP Workshop W-NUT: The4th Workshop on Noisy User-generated Text. Brussels, 79–84.</p>
<pdir="ltr">Boyd, Adriane (2018): <imgsrc="img/document-pdf.png"alt="pdf"width="16"height="16"/><ahref="https://www.aclweb.org/anthology/W18-6111.pdf"target="_blank">Using Wikipedia edits in low resource grammatical error correction</a>. Proceedings of the 2018 EMNLP Workshop W-NUT: The4th Workshop on Noisy User-generated Text. Brussels, 79–84.</p>
<pdir="ltr">Novák, Michal; Mírovský, Jiří; Rysová, Kateřina; Rysová, Magdaléna (2018): Topic–Focus Articulation: A Third Pillar of Automatic Evaluation of Text Coherence. Advances in Computational Intelligence (LNAI 11289): 17th Mexican International Conference on Artificial Intelligence, MICAI 2018, Proceedings, Part II, Switzerland: Springer, 96–108.</p>
<pdir="ltr">Rysová, Magdaléna; Rysová, Kateřina; Mírovský, Jiří; Novák, Michal (2018): <ahref="https://library.iated.org/view/RYSOVA2018PRA"target="_blank">Practicing Students‘ Writing Skills through eLearning</a>: Automated Evaluation of Text Coherence in Czech. EDULEARN18 Proceedings. Valencia, Spain: IATED Academy, 2018, pp. 1963–1970.</p>
<pdir="ltr">Rysová, Kateřina, Rysová, Magdaléna (2018): <imgsrc="img/document-pdf.png"alt="pdf"width="16"height="16"/><ahref="https://ufal.mff.cuni.cz/~rysova/2019/docs/anaphoric_connectives_EDULEARN.pdf"target="_blank">The Correlation between Discourse-Anaphoric Devices and an Overall Communicative Competence in Learners‘ Essays</a>. In EDULEARN18 Proceedings. Valencia, Spain: IATED Academy, 2144–2154.</p>
<h4><ahref="#anchor1"onclick="toggle('#content1','#img1')"><imgsrc="img/toggle-expand.png"alt="toggle-expand"id="img1"/></a> Öffnen der Texte aus dem Datei-Manager</h4>
<divid="content1"class="content">
<p>Öffnen Sie die Texte nach dem Download und entpacken Sie sie aus dem systemeigenen Datei-Manager, z. B. Windows-Explorer, heraus. Wählen Sie <em><strong>↘meta-ltext </strong></em>für Lernertexte (L2-Texte) mit Metadaten oder <em><strong>↘</strong></em><em><strong>meta_ltext_TH </strong></em>für L2-Texte mit Zielhypothese.</p>
<p>Öffnen Sie die Texte nach dem Download und entpacken Sie sie aus dem systemeigenen Datei-Manager, z. B. Windows-Explorer, heraus. Wählen Sie <em><strong>↘ meta-ltext </strong></em>für Lernertexte (L2-Texte) mit Metadaten oder <em><strong>↘ </strong></em><em><strong>meta_ltext_TH </strong></em>für L2-Texte mit Zielhypothese.</p>
</div>
<divid="anchor3"></div>
<h4><ahref="#anchor3"onclick="toggle('#content3','#img3')"><imgsrc="img/toggle-expand.png"alt="toggle-expand"id="img3"/></a> Filtern der Texte mit dem Datei-Manager</h4>
In MERLIN kommen folgende<strong> L1</strong> vor: <em>Arabic, Czech, English, Chinese, French, German, Hungarian, Italian, Polish, Portuguese, Russian, Slovak, Spanish, Turkish</em>.</p>
<pdir="ltr">Unter <ahref="C_corpus.php"target="_blank">MERLIN-Korpus</a> finden Sie einen Überblick über alle <strong>Aufgabenstellungen</strong> mit Kürzeln für Dateinamen.<br/>
<pdir="ltr">Unter <ahref="C_mcorpus.php"target="_blank">MERLIN-Korpus</a> finden Sie einen Überblick über alle <strong>Aufgabenstellungen</strong> mit Kürzeln für Dateinamen.<br/>
</p>
</div>
<divid="anchor2"></div>
<h4><ahref="#anchor2"onclick="toggle('#content2','#img2')"><imgsrc="img/toggle-expand.png"alt="toggle-expand"id="img2"/></a> Öffnen der Texte in ANNIS</h4>
<divid="content2"class="content">
<p>Öffnen Sie die <ahref="https://merlin-platform.eu/annis/"target="_blank">ANNIS-Suchoberfläche</a> und wählen Sie unter <em><strong>Corpus List</strong></em> das gewünschte Korpus (die Zielsprache) und klicken Sie auf das <strong><em><strong>↘</strong></em>Dokument-Icon</strong> [1]. Im Feld rechts öffnet sich eine Listenansicht aller MERLIN-Texte für die gewählte Sprache. Klick auf <em><strong>↘Full text</strong></em> [2] öffnet den gewählten Text und Klick auf "<strong>i</strong>" [3] zeigt die zugeordneten Metadaten an.</p>
<p>Öffnen Sie die <ahref="https://merlin-platform.eu/annis/"target="_blank">ANNIS-Suchoberfläche</a> und wählen Sie unter <em><strong>Corpus List</strong></em> das gewünschte Korpus (die Zielsprache) und klicken Sie auf das <strong><em><strong>↘ </strong></em>Dokument-Icon</strong> [1]. Im Feld rechts öffnet sich eine Listenansicht aller MERLIN-Texte für die gewählte Sprache. Klick auf <em><strong>↘ Full text</strong></em> [2] öffnet den gewählten Text und Klick auf "<strong>i</strong>" [3] zeigt die zugeordneten Metadaten an.</p>
<li>CZ <strong>↘</strong><ahref="https://merlin-platform.eu/annis/#_q=dG9rX3Bvcz0vVi4qLyAmIEdfVmVyYl90eXBlPSJhc3AiICYgIzEgX29fICMyICYgbWV0YTo6X2F1dGhvcl9MMT0iR2VybWFuIiAmIG1ldGE6Ol9yYXRpbmdfZmFpcl9jZWZyPSJCMSI&_c=TUVSTElOX0N6ZWNo&cl=5&cr=5&s=0&l=10&_seg=bGVhcm5lcg"> Aspektfehler deutscher Muttersprachler auf B1-Niveau</a> (fair rating)</li>
<li>IT <strong> ↘</strong><ahref="https://merlin-platform.eu/annis/#_q=R19WZXJiX3R5cGU9Im1kIiAmIG1ldGE6Ol9yYXRpbmdfZmFpcl9jZWZyPSJCMSI&_c=TUVSTElOX0l0YWxpYW4&cl=5&cr=5&s=0&l=10&_seg=bGVhcm5lcg"> Modusfehler in Texten von Italienischlernern auf B1-Niveau</a> (fair rating)</li>
</ul>
</div><br/>
<p><spanclass="StilSmall"><strong>Hinweis</strong>: Allgemeine Erläuterungen zur ANNIS-Nutzeroberfläche finden Sie in einer <ahref="https://www.linguistik.hu-berlin.de/de/institut/professuren/korpuslinguistik/corpus-tools/annis-tutorials/gui-tutorial"target="_blank"class="reference">Videoeinführung</a> der HU Berlin (Deutsch) sowie direkt in ANNIS unter<em><strong>↘ Help/<ahref="https://merlin-platform.eu/annis/#_q=dG9rX2xlbW1hPSJtw610IiAmIGxlYXJuZXI9InLDoWQiICYgIzEgLjEsNCAjMg&_c=TUVSTElOX0N6ZWNo&cl=5&cr=5&s=0&l=10&_seg=bGVhcm5lcg"target="_blank">Tutorial</a></strong></em>. Erklärungen zu den einzelnen Annotationsebenen finden Sie unter <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?>Hilfe zur Suche</a></span>.</p>
</div><p></p>
<p><imgsrc="img/hint_bulb.png"alt="hint bulb"/><spanclass="StilSmall"> Allgemeine Erläuterungen zur ANNIS-Nutzeroberfläche finden Sie in einer <ahref="https://www.linguistik.hu-berlin.de/de/institut/professuren/korpuslinguistik/corpus-tools/annis-tutorials/gui-tutorial"target="_blank"class="a.reference">Videoeinführung</a> der HU Berlin (Deutsch) sowie direkt in ANNIS unter<em><strong>↘ Help/<ahref="https://merlin-platform.eu/annis/#_q=dG9rX2xlbW1hPSJtw610IiAmIGxlYXJuZXI9InLDoWQiICYgIzEgLjEsNCAjMg&_c=TUVSTElOX0N6ZWNo&cl=5&cr=5&s=0&l=10&_seg=bGVhcm5lcg"target="_blank">Tutorial</a></strong></em>. Erklärungen zu den einzelnen Annotationsebenen finden Sie unter <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?></a></span>.</p>
<lidir="ltr"aria-level="1">Öffnen Sie die <ahref="https://merlin-platform.eu/annis/"target="_blank"class="a.reference">ANNIS-Suche</a>.</li>
<lidir="ltr"aria-level="1">Geben Sie das gesuchte Wort ["schon"] oder das gesuchte Lemma ein.</li>
<lidir="ltr"aria-level="1">Wählen Sie das Korpus [Czech, German, Italian] und klicken Sie auf <strong>↘</strong><em><strong>Search</strong></em>.</li>
<lidir="ltr"aria-level="1">Um nur in Texten tschechische Muttersprachler zu suchen, geben Sie zusätzlich ins Suchfenster ein: <em><strong>&meta::_author_L1="Czech"</strong></em> .</li>
<lidir="ltr"aria-level="1">Wählen Sie das Korpus [Czech, German, Italian] und klicken Sie auf <strong>↘</strong> <em><strong>Search</strong></em>.</li>
<lidir="ltr"aria-level="1">Um nur in Texten tschechische Muttersprachler zu suchen, geben Sie zusätzlich ins Suchfenster ein: <em><strong>& meta::_author_L1="Czech"</strong></em> .</li>
</ol>
<p><imgsrc="img/hint_bulb.png"alt="hint bulb"/><spanclass="StilSmall">Für Erläuterungen siehe <ahref="#"onclick="document.forms['glossary'].submit();"><?phpecho$trans['help_search'][$_SESSION['lang']];?>Hilfe zur Suche</a></span>.</p>
<h3dir="ltr"><ahref="#anchor4"onClick="toggle('#content4','#img4')"><imgid="img4"src="img/toggle-expand.png"></a> Im MERLIN-Korpus Beispiele für Lehrmaterialien und Aufgaben finden</h3>
...
...
@@ -83,7 +83,7 @@ require('F_mainsidebar.php');
<pdir="ltr"><strong>Und so geht’s:</strong></p>
<ol>
<lidir="ltr"aria-level="1">Prüfen Sie in der Liste aller annotierten Merkmale der Lernersprache, welches Problem oder Merkmal Sie interessiert.</li>
<lidir="ltr"aria-level="1">Öffnen Sie die <ahref="https://merlin-platform.eu/annis/"target="_blank"class="a.reference">ANNIS-Suche</a>, um gezielt nach dem Merkmal zu suchen, z. B. <em>G_Refl_type</em>. Gehen Sie dabei so vor, wie unter <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?>Hilfe zur Suche</a> beschrieben.</li>
<lidir="ltr"aria-level="1">Öffnen Sie die <ahref="https://merlin-platform.eu/annis/"target="_blank"class="a.reference">ANNIS-Suche</a>, um gezielt nach dem Merkmal zu suchen, z. B. <em>G_Refl_type</em>. Gehen Sie dabei so vor, wie unter <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?></a> beschrieben.</li>
<lidir="ltr"aria-level="1">Schauen Sie sich nun das Suchergebnis an. Unter <strong>↘</strong><em><strong> full text</strong></em> können Sie sich den Fehler im Kontext ansehen und Sätze aus dem Lernertext kopieren.</li>
</ol>
</div>
...
...
@@ -106,9 +106,9 @@ require('F_mainsidebar.php');
</ul>
<pdir="ltr"><strong>Und so geht’s:</strong></p>
<ol>
<lidir="ltr"aria-level="1"> Um Angaben zur Häufigkeit eines bestimmten Merkmals / Fehlers für eine bestimmte Textgruppe (also z. B. Lernertexte mit B1-Bewertung) zu erhalten, nutzen Sie die <ahref="https://merlin-platform.eu/annis/"target="_blank"class="a.reference">ANNIS-Suche</a> und den <strong>↘</strong> <em><strong>Query Builder</strong></em>. Gehen Sie dabei so vor, wie unter <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?>Hilfe zur Suche</a> beschrieben.</li>
<lidir="ltr"aria-level="1"> Um Angaben zur Häufigkeit eines bestimmten Merkmals / Fehlers für eine bestimmte Textgruppe (also z. B. Lernertexte mit B1-Bewertung) zu erhalten, nutzen Sie die <ahref="https://merlin-platform.eu/annis/"target="_blank"class="a.reference">ANNIS-Suche</a> und den <strong>↘</strong> <em><strong>Query Builder</strong></em>. Gehen Sie dabei so vor, wie unter <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?></a> beschrieben.</li>
<lidir="ltr"aria-level="1"> Nach Abschicken der Suche (<em><strong>↘ Search</strong></em>) sehen Sie unter dem Suchfenster Angaben zur Treffermenge, z. B. <em>1460 matches in 244 documents</em>.</li>
<li>Um sich einen Überblick über die Häufigkeit von Phänomenen einer bestimmten Merkmalskategorie, also z. B. aller Grammatikphänomene, zu verschaffen, nutzen Sie in ANNIS die <strong>↘</strong> <em><strong>Frequency Analysis</strong></em>, wie unter <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?>Hilfe zur Suche</a> <strong>↘</strong> <em><strong> 4 Statistische Informationen erhalten </strong></em>beschrieben. </li>
<li>Um sich einen Überblick über die Häufigkeit von Phänomenen einer bestimmten Merkmalskategorie, also z. B. aller Grammatikphänomene, zu verschaffen, nutzen Sie in ANNIS die <strong>↘</strong> <em><strong>Frequency Analysis</strong></em>, wie unter <ahref="#"onclick="document.forms['glossary'].submit();"class="a.reference"><?phpecho$trans['help_search'][$_SESSION['lang']];?></a> <strong>↘</strong> <em><strong> 4 Statistische Informationen erhalten </strong></em>beschrieben. </li>
