論文の概要: What Am I Missing? Question-Answering as Hidden State Probing

• arxiv url: http://arxiv.org/abs/2605.31561v1
• Date: Fri, 29 May 2026 17:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.7708
• Title: What Am I Missing? Question-Answering as Hidden State Probing
• Title（参考訳）: 見逃しているものは何か? 隠れた状態調査としての質問への回答
• Abstract要約: 本稿では,推測時間の介入として質問を投げかける手法を提案する。 質問の前後で、学生の隠れた状態を調査する。 介入としての質問応答の成功は,モデルの自己整合性に大きく依存していることが判明した。
• 参考スコア（独自算出の注目度）: 13.065059683491958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time reasoning has become a significant field of study since the introduction of chain-of-thought reasoning in large language models (LLMs). However, the mechanisms of this reasoning process are still under-explored -- from the same input prompt, and even the same partial solution, LLMs can produce varied answers if sampled multiple times. We propose to leverage question-asking as an inference-time intervention that articulates information about the model's hidden state. To achieve that, we present a student-teacher setting where a student asks questions to a teacher. We train a probe on the student's hidden state before and after asking a question and find it is predictive of the trajectory's final correctness, even before generating the teacher's answer. This suggests there is a meaningful signal from the self-diagnosis that occurs during question generation rather than information transfer from the teacher. We then frame question-asking as a sequential decision problem, using this probe as a quality score, and define a gating policy to ask questions that maximize likelihood of correctness. We find that the success of question-asking as an intervention is largely dependent on the model's self-consistency. Our empirical results show a gap between detection and recovery; while our gating policy captures model correctness and uncertainty, interventions are equally likely to harm correct trajectories as they are to recover incorrect ones. This gap between diagnosis and correction has broader implications on language models' capacity for self-refinement under uncertainty.
• Abstract（参考訳）: 大規模言語モデル(LLM)における連鎖推論の導入以来,テストタイム推論は重要な研究分野となっている。 しかし、この推論過程のメカニズムは、同じ入力プロンプトと同じ部分解からまだ解明されていない。 本稿では,モデルの隠れ状態に関する情報を記述した推論時間介入として,質問応答を活用することを提案する。 そこで本研究では,生徒が教師に質問をする,学生-教師設定を提案する。 我々は,教師の回答を生成する前に,学生の隠蔽状態に関する調査を訓練し,その軌跡の最終的な正しさを予測する。 これは、教師からの情報伝達よりも、質問生成中に発生する自己診断から有意義なシグナルが存在することを示唆している。 次に、このプローブを品質スコアとして使用して、逐次決定問題として問合せを行い、正しさの最大化を問うためのゲーティングポリシーを定義する。 介入としての質問応答の成功は,モデルの自己整合性に大きく依存していることが判明した。 我々のゲーティング・ポリシーはモデルの正しさと不確実性を捉えるが、介入は正しい軌道に悪影響を及ぼす可能性があり、誤った軌道を復元する。 この診断と修正のギャップは、不確実性の下での自己抑制のための言語モデルの能力に大きな影響を及ぼす。

関連論文リスト

• Understanding Why Language Models Hallucinate: Testing Reasoning Against Priors [11.702863087019809]
  大規模言語モデルは、しばしば即時レベルの制約に反する幻覚的な答えを生成する。 推測ミスアライメント(inference misalignment):プロンプトが支持する回答と統計的に有意な潜在的協会が支持する回答のミスマッチについて検討する。 我々は、この見解を遅延キータスクモデルで定式化し、事前学習周波数の不均衡がショートカットパスを生じさせ、制約に敏感な経路を支配させる。
  論文  参考訳（メタデータ） (2026-07-01T05:02:43Z)
• Pause or Fabricate? Training Language Models for Grounded Reasoning [50.104657152302956]
  不完全情報に基づくグラウンドド推論のために,対話型強化学習(GRIL)によるグラウンドド推論を提案する。 GRILは推論プロセスを2つの段階に分解する: 明確化と一時停止、利用可能な情報が十分かどうかを識別する。 GSM8K-InsufficientおよびMetaMATH-Insufficientの実験では、GRILは前提検出を大幅に改善し(最大45%)、平均応答長を20%以上削減しながらタスク成功率が30%向上した。
  論文  参考訳（メタデータ） (2026-04-21T16:45:29Z)
• Testing Uncertainty of Large Language Models for Physics Knowledge and Reasoning [0.0]
  大規模言語モデル(LLM)は、近年、様々な分野の質問に答える能力で大きな人気を集めている。 本稿では,オープンソースLLMの性能評価のための解析手法を提案する。 我々は,物理に関する話題における解答精度と変数の関係に注目した。
  論文  参考訳（メタデータ） (2024-11-18T13:42:13Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• Can Model Uncertainty Function as a Proxy for Multiple-Choice Question Item Difficulty? [12.638577140117702]
  我々は、質問に答える際の弱点と見なされるような、生成的な大規模モデルの側面を活用する。 本研究では、不確実性の2つの異なる指標と実際の学生の反応分布の相関について検討する。
  論文  参考訳（メタデータ） (2024-07-07T10:48:04Z)
• Chain-of-Probe: Examining the Necessity and Accuracy of CoT Step-by-Step [81.50681925980135]
  モデル推論における心の変化を探索する手法を提案する。 心的変化のパターンを解析することにより,モデルの推論の正しさを検証した。 我々の検証では、最終回答では正しいが、多くの応答が推論プロセスに誤りを含んでいることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-23T15:50:22Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Selectively Answering Ambiguous Questions [38.83930394700588]
  我々は, サンプルモデル出力における繰り返しの定量化が, 退避時期を決定する最も信頼性の高い手法であることが判明した。 その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答のキャリブレーションに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-24T01:25:38Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。