論文の概要: What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language

• arxiv url: http://arxiv.org/abs/2610.01627v1
• Date: Thu, 01 Oct 2026 12:58:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.140594
• Title: What Makes Something Hard(er)? Explaining Question Difficulty in Natural Language
• Title（参考訳）: 何が難しいのか? : 自然言語の難しさを解説する
• Abstract要約: 本稿では,自然言語仮説を自動生成し,検証するデータ駆動型手法を提案する。 3つのデータセットにまたがる実験結果から,本手法は解釈可能な仮説と予測可能な仮説を導出することが示された。
• 参考スコア（独自算出の注目度）: 50.924716679241975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Difficulty is one of the most fundamental properties of a question: it determines whether the question can meaningfully discriminate between models of differing ability. Although a variety of methods can now estimate or predict difficulty automatically, they yield only a single descriptive number, with no account of the underlying factors that make a question difficult in the first place. In this work, we propose a data-driven approach that automatically generates and validates natural-language hypotheses explaining what makes one question harder than another. We first estimate each item's difficulty from the responses of a large pool of LLMs using Item Response Theory. We then sample contrasting sets of easy and hard questions and prompt an LLM to propose candidate explanations of the difference, which are subsequently validated and selected on held-out questions. Experimental results across three datasets spanning mathematical, logical, and commonsense reasoning show that our method produces interpretable and predictive hypotheses. On their own, they predict the difficulty of unseen questions competitively with, or better than, advanced black-box difficulty regressors; used as additional features, they further improve those regressors, implying that they discover difficulty signals that existing models fail to capture. Moreover, we demonstrate that editing questions according to a hypothesis can shift their measured difficulty in the expected direction, indicating that the discovered hypotheses are causally valid difficulty factors rather than post-hoc descriptions. Our approach thus turns a purely descriptive difficulty score into actionable statements.
• Abstract（参考訳）: 難易度は質問の最も基本的な性質の1つであり、質問が異なる能力のモデル間で有意に区別できるかどうかを決定する。 様々な手法が自動的に難易度を推定または予測できるが、そもそも疑問を難しくする要因を考慮せずに、1つの記述的数しか得られない。 本研究では, 自然言語仮説を自動生成し, 検証するデータ駆動型手法を提案する。 項目応答理論を用いて,各項目の難易度を LLM の大きなプールの応答から推定する。 次に、簡単な難解な質問のコントラスト集合をサンプリングし、LLMにその違いの候補説明を提案し、その後検証され、保留された質問で選択される。 数学的・論理的・常識的推論にまたがる3つのデータセットに対する実験結果から,本手法が解釈的・予測的仮説を生成することが示された。 彼らは独自に、先進的なブラックボックスの難易度レグレシターと競争的に、またはそれ以上に、目に見えない質問の難しさを予測し、追加の機能として、既存のモデルがキャプチャーに失敗した難易度信号を見つけることを暗示する、これらのレグレシターをさらに改善する。 さらに,仮説に基づく質問の編集が期待する方向の難易度をシフトさせることを実証し,発見された仮説がポストホック記述よりも因果的に有効な難易度因子であることを示唆した。 このアプローチは、純粋に記述的な難易度スコアを実行可能なステートメントに変換する。

関連論文リスト

• DiffAdapt: Difficulty-Adaptive Reasoning for Token-Efficient LLM Inference [68.05879215304641]
  最近のLarge Language Models (LLMs) は、目覚ましい問題解決能力を示すが、有用性が不明な長い思考トレースを生成することが多い。 私たちの仕事は効率を向上し、過度に考えずにハイパフォーマンスに到達できるようにすることを目標としています。 簡単な/Normal/Hard推論戦略を選択する軽量フレームワークである textbfDiffAdapt を紹介する。
  論文  参考訳（メタデータ） (2025-10-22T15:16:06Z)
• Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT? [59.418994222096885]
  AIME24データセット上でモデル性能の詳細な解析を行う。 我々は質問を4段階(易、中、硬、極度硬)に分類する。 我々は,SFT-1Kインスタンスが最小限であるR1推論スタイルを採用する必要があることを見出した。 エクレベルの質問は、根本的に異なる課題を示します。
  論文  参考訳（メタデータ） (2025-04-16T03:39:38Z)
• Empowering LLMs with Logical Reasoning: A Comprehensive Survey [49.91445266392609]
  大規模言語モデル(LLM)は様々なタスクにおいて顕著な成功を収めた。 近年の研究では、LLMの論理的推論能力にはまだ大きな課題があることがわかった。
  論文  参考訳（メタデータ） (2025-02-21T18:20:35Z)
• Are You Doubtful? Oh, It Might Be Difficult Then! Exploring the Use of Model Uncertainty for Question Difficulty Estimation [12.638577140117702]
  本研究では,不確実性の特徴が難易度予測に大きく寄与することを示し,難易度は質問に正しく答えられる学生数に逆比例することを示した。 このアプローチの価値を示すことに加えて,USMLEとCMCQRDの公開データセット上で,我々のモデルが最先端の結果を達成することも観察した。
  論文  参考訳（メタデータ） (2024-12-16T14:55:09Z)
• Can Model Uncertainty Function as a Proxy for Multiple-Choice Question Item Difficulty? [12.638577140117702]
  我々は、質問に答える際の弱点と見なされるような、生成的な大規模モデルの側面を活用する。 本研究では、不確実性の2つの異なる指標と実際の学生の反応分布の相関について検討する。
  論文  参考訳（メタデータ） (2024-07-07T10:48:04Z)
• Pushing the Limits of Rule Reasoning in Transformers through Natural Language Satisfiability [30.01308882849197]
  本稿では,アルゴリズム推論データセットを作成するための新しい手法を提案する。 鍵となる考え方は、ハードプロポーズSAT問題の経験的なサンプリングや、言語に関する複雑性理論的な研究から洞察を得ることである。 十分なトレーニングデータを得た現在のトランスフォーマーは、結果のNLSat問題を解決するのに驚くほど堅牢であることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T17:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。