論文の概要: Controlling Difficulty of Generated Text for AI-Assisted Language Learning

• arxiv url: http://arxiv.org/abs/2506.04072v1
• Date: Wed, 04 Jun 2025 15:38:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.422313
• Title: Controlling Difficulty of Generated Text for AI-Assisted Language Learning
• Title（参考訳）: AI支援型言語学習における生成テキストの難易度制御
• Authors: Meiqing Jin, Liam Dugan, Chris Callison-Burch,
• Abstract要約: 大規模言語モデル(LLM)は、ほぼネイティブに近いレベルの複雑さでテキストを生成するため、初心者の学習者には不適当である。 制御可能な生成技術がLLM出力に適応して絶対初心者を支援することができるかどうかを検討する。 以上の結果から,プロンプトだけでは出力の難易度を制御できないが,将来的な識別器の使用は出力の理解性を著しく向上させることがわかった。
• 参考スコア（独自算出の注目度）: 37.329743597873104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Practicing conversations with large language models (LLMs) presents a promising alternative to traditional in-person language learning. However, most LLMs generate text at a near-native level of complexity, making them ill-suited for beginner learners (CEFR: A1-A2). In this paper, we investigate whether controllable generation techniques -- specifically modular methods that do not require model fine-tuning -- can adapt LLM outputs to better support absolute beginners. We evaluate these methods through both automatic metrics and a user study with university-level learners of Japanese. Our findings show that while prompting alone fails to control output difficulty, the use of future discriminators (Yang and Klein, 2021) significantly improves output comprehensibility (from 40.4\% to 84.3\%). We further introduce a novel token-level evaluation metric, Token Miss Rate (TMR), that quantifies the proportion of incomprehensible tokens per utterance and correlates strongly with human judgments. To support future research in AI-assisted language learning, we release our code, models, annotation tools, and dataset.
• Abstract（参考訳）: 大きな言語モデル(LLM)との会話を実践することは、従来の対人言語学習に代わる有望な選択肢となる。 しかし、ほとんどのLLMは、ほぼネイティブレベルの複雑さでテキストを生成するため、初心者学習者(CEFR: A1-A2)には適さない。 本稿では、制御可能な生成技術、特にモデル微調整を必要としないモジュラー手法が、絶対初心者を支援するためにLCM出力に適応できるかどうかを検討する。 本研究では,これらの手法を,大学レベルの日本語学習者を対象に,自動測定とユーザスタディの両方を用いて評価する。 本研究は, 単体で出力困難を抑えることができず, 将来の判別器(Yang and Klein, 2021)の使用により, 出力の理解度(40.4\%から84.3\%)が著しく向上することを示した。 さらに,発話毎の理解不能なトークンの割合を定量化し,人間の判断と強く相関する新しいトークンレベル評価指標であるトークンミスレート(TMR)を導入する。 AIによる言語学習の今後の研究を支援するため、コード、モデル、アノテーションツール、データセットをリリースしています。

関連論文リスト

• Prompting ChatGPT for Chinese Learning as L2: A CEFR and EBCL Level Study [0.45060992929802196]
  本研究では,Large Language Models (LLM) をパーソナライズしたチャットボットとして利用するために,学習者が特定のプロンプトを使用する方法について検討する。 我々のゴールは、高周波文字リストを用いて口語と書字のスキルを統合するプロンプトを開発することであり、口語辞書の制作を制御することである。 その結果,レベルA1およびレベルA1+文字と関連する参照リストを組み込むことで,EBCL文字集合への準拠が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2025-01-25T15:30:13Z)
• Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
  本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。 我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
  論文  参考訳（メタデータ） (2024-06-21T20:02:22Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Preference-grounded Token-level Guidance for Language Model Fine-tuning [99.93045967478764]
  好みのある言語モデルを調整することは、自然言語生成において重要な問題である。 LMトレーニングでは、教師付きデータの量に基づいて、学習指導を利用する2つの最小限の学習目標を示す。 実験において,本手法は2つの異なるLMタスクに対して競合的に動作する。
  論文  参考訳（メタデータ） (2023-06-01T07:00:07Z)
• Detecting Requirements Smells With Deep Learning: Experiences, Challenges and Future Work [9.44316959798363]
  本研究の目的は,手動でラベル付きデータセットを作成し,アンサンブル学習,深層学習(DL),単語埋め込みや伝達学習といった手法を用いて一般化問題を克服することで,従来の作業を改善することである。 現在の調査結果は、データセットが不均衡であり、どのクラスをもっと追加すべきかを示している。
  論文  参考訳（メタデータ） (2021-08-06T12:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。