論文の概要: Zero-Shot Grammar Competency Estimation Using Large Language Model Generated Pseudo Labels

• arxiv url: http://arxiv.org/abs/2511.13152v1
• Date: Mon, 17 Nov 2025 09:00:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:25.084792
• Title: Zero-Shot Grammar Competency Estimation Using Large Language Model Generated Pseudo Labels
• Title（参考訳）: 擬似ラベルを生成する大言語モデルを用いたゼロショット文法能力推定
• Authors: Sourya Dipta Das, Shubham Kumar, Kuldeep Yadav,
• Abstract要約: 手動ラベルを頼らずにラベル付きデータと大言語モデル(LLM)を活用するゼロショット文法能力推定フレームワークを提案する。 学習中に、文法能力に基づくプロンプトを用いてラベルなしデータにLLM生成予測を適用する。 擬似ラベル生成におけるLCMの選択がモデル性能に重大な影響を及ぼし,トレーニング中のクリーン・ツー・ノイズの比率が安定性と精度に強く影響を与えることを示す。
• 参考スコア（独自算出の注目度）: 6.254549196597175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grammar competency estimation is essential for assessing linguistic proficiency in both written and spoken language; however, the spoken modality presents additional challenges due to its spontaneous, unstructured, and disfluent nature. Developing accurate grammar scoring models further requires extensive expert annotation, making large-scale data creation impractical. To address these limitations, we propose a zero-shot grammar competency estimation framework that leverages unlabeled data and Large Language Models (LLMs) without relying on manual labels. During training, we employ LLM-generated predictions on unlabeled data by using grammar competency rubric-based prompts. These predictions, treated as pseudo labels, are utilized to train a transformer-based model through a novel training framework designed to handle label noise effectively. We show that the choice of LLM for pseudo-label generation critically affects model performance and that the ratio of clean-to-noisy samples during training strongly influences stability and accuracy. Finally, a qualitative analysis of error intensity and score prediction confirms the robustness and interpretability of our approach. Experimental results demonstrate the efficacy of our approach in estimating grammar competency scores with high accuracy, paving the way for scalable, low-resource grammar assessment systems.
• Abstract（参考訳）: 文法能力の推定は、文字言語と音声言語の両方において、言語能力を評価するのに不可欠であるが、話されるモダリティは、その自然的、非構造的、および非流動的な性質のために、さらなる課題をもたらす。 正確な文法スコアリングモデルを開発するには、広範な専門家のアノテーションが必要で、大規模なデータ生成は実用的ではない。 これらの制約に対処するために,手動ラベルを頼らずにラベル付きデータとLLM(Large Language Models)を活用するゼロショット文法能力推定フレームワークを提案する。 学習中に,文法能力に富んだルーリックに基づくプロンプトを用いて,ラベルなしデータにLLM生成予測を適用した。 これらの予測は擬似ラベルとして扱われ、ラベルノイズを効果的に扱うために設計された新しいトレーニングフレームワークを通じてトランスフォーマーベースのモデルを訓練するために利用される。 擬似ラベル生成におけるLCMの選択がモデル性能に重大な影響を及ぼし,トレーニング中のクリーン・ツー・ノイズの比率が安定性と精度に強く影響を与えることを示す。 最後に,誤差強度とスコア予測の質的解析により,我々のアプローチの堅牢性と解釈可能性を確認する。 実験により, 文法能力スコアを高精度に推定する手法の有効性を実証し, スケーラブルで低リソースな文法評価システムへの道を開いた。

関連論文リスト

• Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
  ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。 本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T15:02:57Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• Harnessing the Intrinsic Knowledge of Pretrained Language Models for Challenging Text Classification Settings [5.257719744958367]
  この論文は、事前学習された言語モデル(PLM)の本質的な知識を活用することによって、テキスト分類における3つの挑戦的な設定を探求する。 本研究では, PLMの文脈表現に基づく特徴量を利用したモデルを構築し, 人間の精度に匹敵する, あるいは超越する性能を実現する。 最後に、実効的な実演を選択することで、大規模言語モデルの文脈内学習プロンプトに対する感受性に取り組む。
  論文  参考訳（メタデータ） (2024-08-28T09:07:30Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Self-training Large Language Models through Knowledge Detection [26.831873737733737]
  大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。 本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。 経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
  論文  参考訳（メタデータ） (2024-06-17T07:25:09Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Entailment as Robust Self-Learner [14.86757876218415]
  我々は、複数の異なるNLUタスクを文脈的エンターテイメントとして定式化するプロンプト戦略を設計する。 自己学習における擬似ラベル品質向上のための簡易擬似ラベル編集(SimPLE)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T18:41:23Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。