論文の概要: Structure-Aware Modeling of Multiple-Choice Questions Improves Automatic Difficulty Estimation

• arxiv url: http://arxiv.org/abs/2606.08988v1
• Date: Mon, 08 Jun 2026 03:35:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.683151
• Title: Structure-Aware Modeling of Multiple-Choice Questions Improves Automatic Difficulty Estimation
• Title（参考訳）: 複数項目質問の構造認識モデルによる自動難易度推定の改善
• Authors: Gabriel Ortega, Abelino Jiménez, Séverin Lions, Pablo Dartnell,
• Abstract要約: AQDEは、専門家の判断と競合する難易度推定を得られる可能性があるため、教育評価への期待が高まっている。 AQDE以前の研究では、質問幹と正しいキーにイントラクタを追加することで、難易度予測が一貫して改善されるという証拠が混在していたことが報告されている。 本研究では,その構造的表現に係わる障害情報の有効性を仮定し,分離成分としての障害情報を明示的にモデル化することで,この情報を省略する基準線による難易度推定を改善することを仮定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic Question Difficulty Estimation (AQDE) holds growing promise for educational assessment because it has the potential to yield difficulty estimates that are competitive with expert judgment, while helping reduce the time and financial burden associated with pilot administrations and scaling to digital testing contexts. Prior AQDE studies report mixed evidence on whether adding distractors as additional text to the question stem and the correct key consistently improves difficulty prediction. We hypothesize that the effectiveness of distractor information depends on its structural representation, and that explicitly modeling distractors as separate components improves difficulty estimation over baselines that omit this information. To address this, we designed controlled architectures that model MCQ components as distinct inputs to isolate the contribution of distractor content and order. Specifically, we represented distractors by encoding each distractor as its own text input and aggregating their representations either with order-aware concatenation (with positional tags) or with an order-invariant summation. We evaluated these architectures using two Chilean datasets (Natural and Social Sciences, 2016-2020; 4,114 multiple-choice questions). Compared to a simpler model that only used the question stem and the key, our best distractor-aware architecture achieved higher predictive performance, reaching R^2 = 0.83 for Natural Sciences and R^2 = 0.71 for Social Sciences items. An order-invariant variant achieved nearly the same accuracy with approximately half as many parameters, offering a favorable accuracy-efficiency trade-off. These results show that structural information (especially distractor content) drives gains in predictive accuracy, supporting the development of efficient, structure-aware models that are computationally viable for large-scale educational applications.
• Abstract（参考訳）: AQDE(Automatic Question Difficulty Estimation)は、専門家の判断と競合する難易度推定値を得る可能性があり、パイロット管理やデジタルテストのコンテキストへのスケーリングに伴う時間と財政的負担を軽減できるため、教育評価への期待が高まっている。 AQDE以前の研究では、質問幹と正しいキーにイントラクタを追加することで、難易度予測が一貫して改善されるという証拠が混在していたことが報告されている。 本研究では,その構造的表現に係わる障害情報の有効性を仮定し,分離成分としての障害情報を明示的にモデル化することで,この情報を省略する基準線による難易度推定を改善することを仮定する。 これを解決するために,MCQコンポーネントを個別の入力としてモデル化する制御アーキテクチャを設計し,イントラクタの内容と順序の寄与を分離した。 具体的には、各イントラクタを独自のテキスト入力として符号化し、その表現を(位置タグ付き)順序認識結合または順序不変和で集約することで、トラクタを表現した。 チリの2つのデータセットを用いてこれらのアーキテクチャを評価した(Natural and Social Sciences, 2016-2020; 4,114 質問)。 質問ステムとキーのみを用いた単純なモデルと比較して,我々の最も気を散らすアーキテクチャは,自然科学のR^2 = 0.83,社会科学のR^2 = 0.71に到達し,高い予測性能を達成した。 順序不変な変種は、ほぼ同じ精度で、パラメータの約半分を達成し、良好な精度と効率のトレードオフを提供した。 これらの結果は、構造情報(特に注意散らし内容)が予測精度を向上し、大規模教育アプリケーションで計算可能な効率的な構造認識モデルの開発を支援することを示している。

関連論文リスト

• Evian: Towards Explainable Visual Instruction-tuning Data Auditing [14.93566912726999]
  本稿では,モデル応答を構成的認知要素に分解する「分解的評価」パラダイムを提案する。 このパラダイムを、画像テキスト一貫性、論理コヒーレンス、ファクチュアル正確性の軸に沿ってこれらのコンポーネントを評価する自動化フレームワークであるEVIANを介してインスタンス化する。
  論文  参考訳（メタデータ） (2026-04-22T13:28:27Z)
• Adaptive Multi-Expert Reasoning via Difficulty-Aware Routing and Uncertainty-Guided Aggregation [0.2864713389096699]
  本稿では,動的適応戦略による推論による問題複雑性に着目したフレームワークであるAdaptive Multi-Expert Reasoning (AMR)について述べる。 問題テキストに焦点を当てたアジャイルルーティングシステムは、問題の難しさと不確実性を予測し、再構成可能なサンプリングメカニズムを誘導し、生成の幅を管理する。 GSM8Kデータセットで評価すると、AMRはオリジナルのトレーニングデータのみを使用しながら75.28%の精度を達成した。
  論文  参考訳（メタデータ） (2026-04-11T19:44:57Z)
• Enhancing the QA Model through a Multi-domain Debiasing Framework [1.7802147489386633]
  本研究では,SQuAD(Stanford Question Answering dataset) v1.1とAddSentとAddOneSentの対立データセットを用いたELECTRA小モデルの評価を行った。 我々は,知識蒸留,デバイアス技術,ドメイン拡張を取り入れたマルチドメインデバイアスフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-01-01T08:39:07Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Improving Text Matching in E-Commerce Search with A Rationalizable, Intervenable and Fast Entity-Based Relevance Model [78.80174696043021]
  エンティティベース関連モデル(EBRM)と呼ばれる新しいモデルを提案する。 この分解により、高精度にクロスエンコーダQE関連モジュールを使用できる。 また、ユーザログから自動生成されたQEデータによるQEモジュールの事前トレーニングにより、全体的なパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-07-01T15:44:53Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• MGA-VQA: Multi-Granularity Alignment for Visual Question Answering [75.55108621064726]
  視覚的な質問に答えることを学ぶことは、マルチモーダル入力が2つの特徴空間内にあるため、難しい作業である。 視覚質問応答タスク(MGA-VQA)のための多言語アライメントアーキテクチャを提案する。 我々のモデルはアライメントを異なるレベルに分割し、追加のデータやアノテーションを必要とせずにより良い相関関係を学習します。
  論文  参考訳（メタデータ） (2022-01-25T22:30:54Z)
• Contextualized Embeddings based Convolutional Neural Networks for Duplicate Question Identification [0.25782420501870296]
  質問パラフレーズ識別(QPI)は,大規模質問回答フォーラムにとって重要な課題である。 本稿では,QPIタスクのための双方向変換器と畳み込みニューラルネットワークを組み合わせた新しいアーキテクチャを提案する。 実験結果から,Quora Question Pairsデータセットの最先端性能が得られた。
  論文  参考訳（メタデータ） (2021-09-03T14:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。