論文の概要: Ask-E: An Environment for Calibrated Question Generation

• arxiv url: http://arxiv.org/abs/2608.06933v1
• Date: Fri, 07 Aug 2026 08:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.409134
• Title: Ask-E: An Environment for Calibrated Question Generation
• Title（参考訳）: Ask-E: キャリブレーションによる質問生成環境
• Abstract要約: 私たちはAsk-Eを紹介します。Ask-Eは、モデルに答えるのではなく、特定のスキルレベルで質問を書く能力をベンチマークし、トレーニングする環境です。 私たちは、フロンティアモデルでさえベンチマークで50%未満のキャリブレーションを達成し、将来の進歩を測るための重要なヘッドルームを残していることに気付きました。
• 参考スコア（独自算出の注目度）: 32.25272302796587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Today, we improve models by training and evaluating them on problems at the frontier of their abilities. Creating such problems is itself a demanding task, requiring the ability to probe model limits and generalize beyond existing question distributions. It also means placing problems at a precise difficulty level, which requires understanding what it takes to solve them. In short, generating problems calibrated to a model's current frontier demands capability beyond it, an increasingly burdensome constraint as models improve. Our key insight is that we can leverage this constraint to our advantage: a model that can generate problems consistently calibrated to a given frontier must possess capability beyond it. Accordingly, we present Ask-E, an environment that benchmarks and trains models on their ability to write questions at a given skill level, rather than answer them. Concretely, we define target skill levels as ranges bounded by the capabilities of two existing language models. A generated question is successfully calibrated if exactly one of the two models can solve it, placing it precisely within the target range and differentiating the capabilities of these models. Ask-E serves both as a benchmark and a training environment, where models generate problems calibrated to a variety of skill levels. We find that even frontier models achieve below 50% calibration on the benchmark, leaving significant headroom to measure future progress. We also show that training on this environment leads to improvements across a number of downstream math benchmarks even with no new math data, no interaction with stronger models, and no correctness-based reward.
• Abstract（参考訳）: 今日では、モデルをトレーニングし、それらの能力のフロンティアにおける問題に対して評価することで、モデルを改善する。 このような問題を作成することは、それ自体は要求のあるタスクであり、モデル限界を探索し、既存の質問分布を超えて一般化する能力を必要とする。 また、問題の解決に何が必要なのかを理解する必要のある、正確な難易度に問題を置くことも意味します。 つまり、モデルの現在のフロンティアに調整された問題を発生させるには、それを超える能力が必要になります。 私たちの重要な洞察は、この制約を私たちの利点に活用できるということです。与えられたフロンティアに一貫した校正された問題を生成することができるモデルは、それを超える能力を持っていなければなりません。 そこで、Ask-Eという環境を紹介します。Ask-Eは、モデルに答えるのではなく、特定のスキルレベルで質問を書く能力に基づいて、モデルをベンチマークし、訓練する環境です。 具体的には、ターゲットスキルレベルを既存の2つの言語モデルの能力に制限された範囲として定義する。 生成された質問は、2つのモデルのうちの1つが正確に解けるかどうかを判断し、ターゲット範囲に正確に配置し、これらのモデルの能力を区別する。 Ask-Eはベンチマークとトレーニング環境の両方として機能し、モデルがさまざまなスキルレベルに調整された問題を生成する。 私たちは、フロンティアモデルでさえベンチマークで50%未満のキャリブレーションを達成し、将来の進歩を測るための重要なヘッドルームを残していることに気付きました。 また、この環境でのトレーニングは、新しい数学データがなく、より強力なモデルとの相互作用がなく、正当性に基づく報酬がない場合でも、多くのダウンストリームの数学ベンチマークに改善をもたらすことを示した。

関連論文リスト

• MathDuels: Evaluating LLMs as Problem Posers and Solvers [9.727695321331483]
  MathDuelsは、モデルがデュアルロールを占有するセルフプレイベンチマークである。 各著者は、敵対関係にある数学の問題を、他の参加者全員によって書かれた問題を推し進め、解決する。 ラシュモデルは、問題解決能力と問題困難を共同で推定する。
  論文  参考訳（メタデータ） (2026-04-23T17:57:46Z)
• Don't Throw Away Your Pretrained Model [68.63558351111303]
  私たちは、モデルコラボレーションを通じて両方の世界を最大限に活用することを目指しています。 そこで我々は,事前訓練されたモデルバージョンが,応答シーケンスで「話し方」を交互に行うスイッチ生成を提案する。
  論文  参考訳（メタデータ） (2025-10-10T23:12:20Z)
• THOUGHTTERMINATOR: Benchmarking, Calibrating, and Mitigating Overthinking in Reasoning Models [65.39456695678713]
  本稿では,問題レベルの難易度を近似的に測定し,問題の難易度と最適なトークン使用量との間に明確な関係があることを実証する。 一般に、推論モデルは、特に簡単な問題に対して、キャリブレーションが不十分である。 トレーニング不要なブラックボックス復号法であるTHOUGHTTERMINATORを導入する。
  論文  参考訳（メタデータ） (2025-04-17T22:16:30Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Robust Training for Conversational Question Answering Models with Reinforced Reformulation Generation [26.752549844734034]
  本研究は,ゴールドQAペアのみの標準トレーニングを施したConvQAモデルにおいて,厳密なトレーニングを施したConvQAモデルよりも有意に優れていたことを示す。 1つのベンチマークで主要なモデルコンポーネントをトレーニングし、それを別のベンチマークにゼロショットで適用できることを実証する。
  論文  参考訳（メタデータ） (2023-10-20T13:51:08Z)
• Task-Specific Skill Localization in Fine-tuned Language Models [36.53572616441048]
  本稿では,この問題に対するスキルローカライゼーションという用語を紹介する。 単純な最適化は、非常に小さなパラメータのサブセットを特定するために使われる。 この小さなサブセットの微調整された値を事前訓練されたモデルに移植することで、微調整されたモデルとほぼ同等のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2023-02-13T18:55:52Z)
• Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models [648.3665819567409]
  言語モデルは、規模が大きくなるにつれて量的改善と新しい質的能力の両方を示す。 ビッグベンチは204のタスクで構成され、132の機関で450人の著者が貢献している。 我々は,OpenAIのGPTモデル,Google内部の高密度トランスアーキテクチャ,BIGベンチ上のスイッチ型スパーストランスの挙動を評価する。
  論文  参考訳（メタデータ） (2022-06-09T17:05:34Z)
• Sufficiently Accurate Model Learning for Planning [119.80502738709937]
  本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。 これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。 近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
  論文  参考訳（メタデータ） (2021-02-11T16:27:31Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。