論文の概要: Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models

• arxiv url: http://arxiv.org/abs/2608.13760v1
• Date: Thu, 13 Aug 2026 20:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.209259
• Title: Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models
• Title（参考訳）: Amplified does not mean predictive: Reasoning Behaviors in Thinking Models
• Abstract要約: 推論指向のトレーニングは、モデル正しさに最も結びついている振る舞いを増幅することなく、トレースをより熟考的に見せることができる。 このミスマッチを、モデル推論トレースにおける振る舞いの有無に対して、振舞いがどの程度の正確性を変えるかを測定するメトリクスである振舞いリフトと定量化します。 我々は、思考モデルが自己認識、仮説テスト、不確実性認知を強く増幅する増幅自由ギャップの証拠を見つける。
• 参考スコア（独自算出の注目度）: 56.88565331713778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Which reasoning behaviors are associated with correct answers in reasoning models, and does reasoning-oriented training amplify those behaviors? This distinction is important because reasoning-oriented training can make traces look more deliberative without amplifying the behaviors most tied to model correctness. We quantify this mismatch with Behavioral Lift, a metric that measures how much correctness changes when a behavior is present versus absent in a model's reasoning trace. Across 15 models and 6 benchmarks spanning text-only and vision-language reasoning, we annotate 15,282 traces with a taxonomy whose core behaviors are defined for both LLM and VLM traces. We find evidence for an Amplification-Lift Gap, in which thinking models strongly amplify self-correction, hypothesis testing, and uncertainty acknowledgment, while the highest-lift behaviors are confidence calibration, knowledge alignment, and self-awareness. Confidence calibration is among the strongest positive signals of correctness in both modalities, yet is barely amplified; uncertainty acknowledgment is amplified by 3--7$\times$, yet is weakly or negatively associated with correctness. We find that reasoning-oriented training does not preferentially amplify the highest-Lift behaviors, motivating process-level objectives that reward calibrated and grounded reasoning rather than surface form alone.
• Abstract（参考訳）: どの推論行動が推論モデルにおける正しい答えと関連付けられているのか、推論指向のトレーニングはそれらの振る舞いを増幅するのだろうか? この区別は、推論指向のトレーニングが、モデル正しさに最も結びついている振る舞いを増幅することなく、トレースをより熟考的に見せることができるため重要である。 このミスマッチを、モデル推論トレースにおける振る舞いの有無に対して、振舞いがどの程度の正確性を変えるかを測定するメトリクスである振舞いリフトと定量化します。 テキストのみの推論と視覚言語による推論にまたがる15のモデルと6のベンチマークで、15,282のトレースをLLMとVLMの両方のトレースに対してコアな振る舞いを定義する分類法で注釈付けする。 Amplification-Lift Gapの証拠は、思考モデルが自己補正、仮説テスト、不確実性認知を強く増幅するのに対して、最も高揚な行動は信頼度校正、知識アライメント、自己認識である。 信頼度校正は両モードで正の正のシグナルとしては最も強いものの、ほとんど増幅されないが、不確実性認定は3～7$\times$で増幅される。 推論指向のトレーニングは、表面形状のみではなく、校正および根拠的推論に報酬を与えるプロセスレベルの目的を動機付けることによって、最高自由度動作を優先的に増幅するものではない。

関連論文リスト

• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Latent Reward Steering: An Adaptive Inference-Time Framework that Implicitly Promotes Cognitive Behaviors in Reasoning LLMs [31.34530174385469]
  Latent Reward Steering (LRS) は、認知行動を促進する適応的な推論時間フレームワークである。 LRSは、中間潜伏状態の品質を推定するために最終回答の正しさによる推論トレースに基づいて潜伏報酬モデルを訓練する。 複数の推論バックボーンとベンチマークの実験では、さまざまなベースラインに対するパフォーマンスが一貫して改善されていることが示されています。
  論文  参考訳（メタデータ） (2026-05-30T13:38:06Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Thinking, Faithful and Stable: Mitigating Hallucinations in LLMs [0.4115305983711515]
  大規模言語モデル(LLM)のための自己修正フレームワークを開発する。 最終回答の正しさのみに頼るのではなく、細かな不確実性信号を利用する。 我々は不当な高信頼とエントロピースパイクをペナル化する複合報酬関数を設計する。
  論文  参考訳（メタデータ） (2025-11-19T23:09:26Z)
• Thinking Out Loud: Do Reasoning Models Know When They're Right? [25.683190106676893]
  大規模推論モデル(LRM)は、最近、複雑な推論タスクにおいて印象的な機能を示した。 本研究では,LRMが他のモデル行動とどのように相互作用するかを,言語的信頼度を解析することによって検討する。 推論モデルには、知識境界に対する認識の低下がある可能性がある。
  論文  参考訳（メタデータ） (2025-04-09T03:58:19Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs [28.565225092457897]
  強化学習は、検証可能なタスクにおける言語モデルにおける自己改善を促進することができる。 また,Qwen-2.5-3BがLlama-3.2-3Bを超えることが確認された。 我々の研究は、Qwenが自然にこれらの推論行動を示すのに対して、Llamaはこれらを欠いていることを明らかにしている。
  論文  参考訳（メタデータ） (2025-03-03T08:46:22Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。