論文の概要: Classifying German Language Proficiency Levels Using Large Language Models
- arxiv url: http://arxiv.org/abs/2512.06483v1
- Date: Sat, 06 Dec 2025 16:15:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.377052
- Title: Classifying German Language Proficiency Levels Using Large Language Models
- Title（参考訳）: 大規模言語モデルを用いたドイツ語習熟度分類
- Authors: Elias-Leander Ahlers, Witold Brunsmann, Malte Schilling,
- Abstract要約: 本稿では,ドイツ語の文章を異なる習熟度に分類するために,Large Language Models (LLMs) を用いて検討する。
頑健なトレーニングと評価を支援するため,既存のCEFR注釈コーパスを合成データと組み合わせ,多様なデータセットを構築した。
提案手法は従来の手法に比べて一貫した性能向上を示し,信頼性とスケーラブルなCEFR分類のためのLCMの可能性を強調した。
- 参考スコア（独自算出の注目度）: 0.24683296459020942
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Assessing language proficiency is essential for education, as it enables instruction tailored to learners needs. This paper investigates the use of Large Language Models (LLMs) for automatically classifying German texts according to the Common European Framework of Reference for Languages (CEFR) into different proficiency levels. To support robust training and evaluation, we construct a diverse dataset by combining multiple existing CEFR-annotated corpora with synthetic data. We then evaluate prompt-engineering strategies, fine-tuning of a LLaMA-3-8B-Instruct model and a probing-based approach that utilizes the internal neural state of the LLM for classification. Our results show a consistent performance improvement over prior methods, highlighting the potential of LLMs for reliable and scalable CEFR classification.
- Abstract（参考訳）: 言語習熟度を評価することは、学習者のニーズに合った指導を可能にするため、教育に不可欠である。
本稿では,言語参照フレームワーク(CEFR)に基づくドイツ語テキストの自動分類にLarge Language Models (LLMs) を用いることを検討した。
頑健なトレーニングと評価を支援するため,既存のCEFRアノテートコーパスを合成データと組み合わせ,多様なデータセットを構築した。
次に,LLaMA-3-8B-インストラクタモデルの微調整と,LLMの内部神経状態を利用した探索的アプローチについて検討した。
提案手法は従来の手法に比べて一貫した性能向上を示し,信頼性とスケーラブルなCEFR分類のためのLCMの可能性を強調した。
関連論文リスト
- Multilingual Self-Taught Faithfulness Evaluators [11.200203292660758]
合成多言語要約データからのみ学習するフレームワークである。
我々のフレームワークは、最先端の英語評価器や機械翻訳に基づくアプローチなど、既存のベースラインよりも改善されている。
論文 参考訳（メタデータ） (2025-07-28T12:01:59Z) - UniversalCEFR: Enabling Open Multilingual Research on Language Proficiency Assessment [45.713877146599486]
UniversalCEFRは505,807のCEFRラベル付きテキストで構成されており、教育や学習者指向のリソースからキュレーションされている。
本研究は,多言語CEFRレベル評価における言語特徴と微調整事前学習モデルの活用を支援する。
論文 参考訳（メタデータ） (2025-06-02T08:21:16Z) - Large Language Models For Text Classification: Case Study And Comprehensive Review [0.3428444467046467]
各種言語モデル(LLM)の性能を,最先端のディープラーニングモデルや機械学習モデルと比較して評価する。
本研究は,提案手法に基づくモデル応答の有意な変動を明らかにした。
論文 参考訳（メタデータ） (2025-01-14T22:02:38Z) - Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。
本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
論文 参考訳（メタデータ） (2024-05-07T21:58:45Z) - Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳（メタデータ） (2024-03-04T10:48:13Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳（メタデータ） (2024-02-29T21:05:37Z) - DIALIGHT: Lightweight Multilingual Development and Evaluation of
Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。
ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。
評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文 参考訳（メタデータ） (2024-01-04T11:27:48Z) - LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。
本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。
C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
論文 参考訳（メタデータ） (2024-01-02T06:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。