Fugu-MT 論文翻訳(概要): Test-Time Confidence Adaptation under RL-Induced Trajectory Shift

論文の概要: Test-Time Confidence Adaptation under RL-Induced Trajectory Shift

arxiv url: http://arxiv.org/abs/2610.35500v1
Date: Mon, 26 Oct 2026 14:27:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 22:27:14.029342
Title: Test-Time Confidence Adaptation under RL-Induced Trajectory Shift
Title（参考訳）: RL誘起軌道シフトによるテスト時間信頼度適応
Abstract要約: 軌道に基づく信頼度推定はエージェント強化学習後に大きく低下する。我々は,ラベルのないテスト時間信頼性適応のための安定誘導フレームワークである$textbfStaR-TTA$を提案する。
参考スコア（独自算出の注目度）: 19.87338305695158
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Trajectory-based confidence estimation has shown promising performance for large language models (LLMs) by leveraging rich signals from their reasoning processes. However, we find that such confidence estimators can degrade substantially after agentic reinforcement learning (Agentic RL) as it induces substantial shifts in the reasoning trajectories. More importantly, despite these shifts, we uncover a reliability structure that is largely preserved across Base and RL models: $\textbf{more}$ $\textbf{stable}$ $\textbf{trajectories}$ $\textbf{remain}$ $\textbf{more}$ $\textbf{likely}$ $\textbf{to}$ $\textbf{produce}$ $\textbf{correct}$ $\textbf{answers}$. This preserved relationship provides a transferable, label-free reliability signal for post-RL confidence adaptation. Building on this finding, we propose $\textbf{StaR-TTA}$, a stability-guided framework for label-free test-time confidence adaptation. StaR-TTA jointly learns from correctness supervision and stability-derived reliability supervision on labeled Base trajectories, establishing the connection between trajectory stability and answer reliability. At test time, it reuses stability-induced reliability rankings from unlabeled RL trajectories to adapt confidence scores to the shifted trajectory distribution, without requiring target correctness labels. Across four QA benchmarks, StaR-TTA achieves an average AUROC of $0.721$, with consistent improvements across unseen datasets, model families and scales, and different Agentic RL algorithms.
Abstract（参考訳）: 軌道に基づく信頼度推定は、その推論プロセスからリッチな信号を活用することで、大規模言語モデル(LLM)に有望な性能を示す。しかし, エージェント強化学習(Agentic RL)により, 推論軌道にかなりの変化をもたらすため, 信頼度推定器は大幅に劣化しうることがわかった。さらに重要なのは、これらのシフトにもかかわらず、BaseモデルとRLモデルでほぼ保存されている信頼性構造を明らかにすることだ。 $\textbf{more}$ $\textbf{stable}$ $\textbf{trajectories}$ $\textbf{remain}$ $\textbf{more}$ $ $\textbf{likely}$ $\textbf{to}$ $ $\textbf{produce}$ $ $\textbf{correct}$ $\textbf{answers}$$ この保存された関係は、ポストRL信頼適応のための転送可能でラベルのない信頼性信号を提供する。この発見に基づいて,ラベルのないテスト時間信頼性適応のための安定誘導フレームワークである$\textbf{StaR-TTA}$を提案する。 StaR-TTAは、ラベル付きベース軌道上での正確性監視と安定性に基づく信頼性管理から共同で学習し、軌道安定性と応答信頼性の関連を確立する。テスト時には、未ラベルのRL軌道からの安定性による信頼性ランキングを再利用し、目標の正当性ラベルを必要とせず、信頼性スコアをシフト軌跡分布に適応させる。 4つのQAベンチマークで、StaR-TTAは平均(0.721\)のAUROCを達成し、目に見えないデータセット、モデルファミリとスケール、異なるエージェントRLアルゴリズムを一貫して改善した。

関連論文リスト

On the Pitfalls of Verbalized Confidence Priors for Calibrating Large Reasoning Models [22.050654396594492]
市販のLEMは,RL全体にわたって持続するいくつかの高い値に大きく集中する前に,信頼性を示すことを示す。本稿では、RLの前に広く支持される前に、キャリブレーションされた信頼度を形成するプラグイン・アンド・プレイの微調整ステージであるCalibSFTを提案する。
論文参考訳（メタデータ） (2026-09-26T11:00:45Z)
$TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
論文参考訳（メタデータ） (2026-08-20T17:58:50Z)
Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling [2.8793525226737327]
新たな強化学習アルゴリズムは、正確性、校正、データセットインフォームド参照精度の報酬を統合する。 C3RLは精度を犠牲にすることなくキャリブレーションを強化し、パフォーマンスとキャリブレーションの両指標において現在の最先端の手法より優れている。実験の結果、CASはドメイン内およびドメイン外のデータセットの多数投票を上回り、推論予算を最大12.33倍削減している。
論文参考訳（メタデータ） (2026-07-02T02:29:33Z)
Reliability-Guided Adaptive Ensembling for Robust Test-Time Adaptation [21.989744597091192]
テスト時間適応(TTA)は、ソースデータなしでドメインシフトを行うことができるが、逆向きに汚染されたテストストリームの下では、非常に脆弱である。本研究は, 標準TTAと比較し, 相対的に過小評価されている, 対向ストリーム設定におけるRTTAについて検討する。 RTTAのためのトレーニング不要な信頼性誘導型拡張ラッパーSAFERを提案する。
論文参考訳（メタデータ） (2026-06-21T06:20:22Z)
Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文参考訳（メタデータ） (2026-05-08T07:08:25Z)
Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
論文参考訳（メタデータ） (2026-04-25T14:40:13Z)
FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。 FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
論文参考訳（メタデータ） (2026-04-12T15:35:08Z)
What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time [57.533031432715084]
TTRL(Test-Time Reinforcement Learning)は、Large Language Models(LLM)が、ラベルのないテストストリームの推論能力を向上することを可能にする。既存のTTRL法は、正の擬似ラベル戦略にのみ依存している。本研究では,ラベル雑音増幅を効果的に緩和する堅牢なテスト時間強化学習フレームワークであるSCRLを提案する。
論文参考訳（メタデータ） (2026-03-20T11:47:12Z)
CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文参考訳（メタデータ） (2026-01-30T10:33:29Z)
Adaptive Federated Learning Defences via Trust-Aware Deep Q-Networks [1.5374297736981706]
フェデレート学習は、部分的に観察可能な状態での中毒やバックドア攻撃に対して脆弱である。我々は、クライアントの信頼更新に多信号の証拠を統合する、信頼を意識したディープQネットワークを導入する。
論文参考訳（メタデータ） (2025-09-25T13:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。