論文の概要: Difficulty-Controllable Cloze Question Distractor Generation

• arxiv url: http://arxiv.org/abs/2511.01526v1
• Date: Mon, 03 Nov 2025 12:42:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.25863
• Title: Difficulty-Controllable Cloze Question Distractor Generation
• Title（参考訳）: 難易度制御可能なクローズ問合せディトラクタ生成
• Authors: Seokhoon Kang, Yejin Jeon, Seonjeong Hwang, Gary Geunbae Lee,
• Abstract要約: 言語能力と理解度を評価するために、多選択クローゼ質問が一般的に用いられる。 本稿では,データ拡張とマルチタスク学習の両戦略を活用することで,分散処理を制御し難いものにするための新しいフレームワークを提案する。 本手法は, 難易度にまたがる高品質なトラクタを生成し, GPT-4oを著しく上回り, トラクタの難易度と人間の知覚との整合性を示す。
• 参考スコア（独自算出の注目度）: 20.062590379176218
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Multiple-choice cloze questions are commonly used to assess linguistic proficiency and comprehension. However, generating high-quality distractors remains challenging, as existing methods often lack adaptability and control over difficulty levels, and the absence of difficulty-annotated datasets further hinders progress. To address these issues, we propose a novel framework for generating distractors with controllable difficulty by leveraging both data augmentation and a multitask learning strategy. First, to create a high-quality, difficulty-annotated dataset, we introduce a two-way distractor generation process in order to produce diverse and plausible distractors. These candidates are subsequently refined through filtering and then categorized by difficulty using an ensemble QA system. Second, this newly created dataset is leveraged to train a difficulty-controllable generation model via multitask learning. The framework includes carefully designed auxiliary tasks that enhance the model's semantic understanding of distractors and its ability to estimate their difficulty. Experimental results demonstrate that our method generates high-quality distractors across difficulty levels and substantially outperforms GPT-4o in aligning distractor difficulty with human perception.
• Abstract（参考訳）: 言語能力と理解度を評価するために、多選択クローゼ質問が一般的に用いられる。 しかし、既存の手法では適応性や難易度に対する制御が欠如し、難読化データセットの欠如がさらなる進歩を妨げるため、高品質なイントラクタの生成は依然として困難である。 これらの課題に対処するために,データ拡張とマルチタスク学習の両戦略を活用することで,制御し難いトラクタを生成する新しいフレームワークを提案する。 まず、高品質で難解な注釈付きデータセットを作成するために、多種多様かつ妥当なイントラクタを生成するために、双方向のイントラクタ生成プロセスを導入する。 これらの候補はその後、フィルタリングによって洗練され、アンサンブルQAシステムによる難易度によって分類される。 第2に、新たに作成されたデータセットを活用して、マルチタスク学習による難易度制御可能な生成モデルをトレーニングする。 このフレームワークは、モデルの意味的理解を高めるために慎重に設計された補助的なタスクと、それらの困難さを見積もる能力を含んでいる。 実験結果から,本手法は難易度にまたがる高品質なトラクタを生成し,人間の知覚とトラクタの難易度を合わせることにより,GPT-4oを著しく上回っていることが示された。

関連論文リスト

• Can Language Models Follow Multiple Turns of Entangled Instructions? [109.4355301539557]
  実世界のシナリオは、時間とともに複数の命令をまたいだ一貫性を必要とすることが多い。 本研究は,多方向命令処理における大規模言語モデルの能力について,系統的研究を行った。 我々は,MultiTurnInstructing with $sim$1.1K High-quality multi-turn conversation through the human-in-the-loop approach。
  論文  参考訳（メタデータ） (2025-03-17T14:31:37Z)
• DAST: Difficulty-Aware Self-Training on Large Language Models [68.30467836807362]
  大規模言語モデル(LLM)の自己学習手法は、常に挑戦的なクエリのアンダーサンプルである。 本研究は,自己生成応答の量と品質を改善することに焦点を当てた,難易度を考慮した自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-12T03:36:45Z)
• Guiding Through Complexity: What Makes Good Supervision for Hard Math Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)
• Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization [126.27645170941268]
  さまざまなドメインにまたがる6つのベンチマークデータセットのコレクションであるEasy2Hard-Benchを紹介します。 これらのデータセット内の各問題は、数値的な難易度スコアで注釈付けされる。 様々な難易度にまたがる性能と一般化能力を総合的に分析する。
  論文  参考訳（メタデータ） (2024-09-27T03:49:56Z)
• Controlling Cloze-test Question Item Difficulty with PLM-based Surrogate Models for IRT Assessment [0.6138671548064356]
  本稿では,項目応答理論(IRT)の評価を可能にする代理モデルとして,事前学習言語モデル(PLM)のトレーニングを提案する。 また,不正な邪魔者を減らすためのランキングルールを用いて,ギャップと邪魔者の双方の難易度を制御するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-03T09:18:05Z)
• Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning [43.83422798569986]
  マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。 これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。 本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-07T01:03:04Z)
• Let the Model Decide its Curriculum for Multitask Learning [22.043291547405545]
  モデルに基づくアプローチによって計算される難易度に基づく学習カリキュラムにトレーニングインスタンスを配置する手法を2種類提案する。 インスタンスレベルとデータセットレベルの技術は、それぞれのベースラインに対して平均4.17%と3.15%のパフォーマンス向上をもたらすため、強い表現をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-19T23:34:22Z)
• Guiding the Growth: Difficulty-Controllable Question Generation through Step-by-Step Rewriting [30.722526598633912]
  質問生成システム(QG)は、生成した質問の論理をより強く制御するべきであると論じる。 本稿では,段階的な書き直しによる質問の難易度を段階的に向上させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-05-25T06:43:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。