論文の概要: Why2Speak: Faithful Reasoning for Abstaining Action Policies
- arxiv url: http://arxiv.org/abs/2608.20670v1
- Date: Fri, 21 Aug 2026 02:00:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.340647
- Title: Why2Speak: Faithful Reasoning for Abstaining Action Policies
- Title（参考訳）: Why2Speak: 持続的アクションポリシーの忠実な推論
- Abstract要約: 我々は,直接的な意思決定方針,推論方針,教師付き微調整,強化学習を比較した。
最強の直接政策はより高い品質を達成するが、検査する理由を示さない。
監視された微調整は、推論を抑えるか、意思決定の質を向上させることなく維持する一方、強化学習は推論ポリシーを改善するのに失敗する。
- 参考スコア（独自算出の注目度）: 0.19336815376402716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many agentic systems must repeatedly choose between acting and abstaining, making faithful reasoning important for oversight: an explanation is useful only if it reflects the computation that produced the action. We study this problem through intervention timing in multi-party conversation, where an assistant must decide whether to speak or remain silent. This setting exposes class imbalance, asymmetric action costs, and the possibility that exposing reasoning changes the policy being audited. Using Qwen3-8B, decoded with or without chain-of-thought reasoning, we compare direct decision policies, reasoning policies, supervised fine-tuning, and reinforcement learning. We find a capability-auditability tradeoff: the strongest direct policy achieves higher quality but exposes no reasoning to inspect, while the reasoning policy provides a trace at the cost of lower performance, particularly recall of true intervention opportunities. Supervised fine-tuning either suppresses reasoning or preserves it without improving decision quality, while reinforcement learning also fails to improve the reasoning policy. We identify one mechanism underlying this failure: group relative objectives provide no learning signal on confidently wrong prompts when sampled rollouts all select the same action. Controlled activation probes and behavioral ablations show that standard faithfulness methods can overstate evidence that exposed reasoning reflects the underlying decision process. Probability-based metrics saturate under confident decisions, probes are vulnerable to class imbalance and textual leakage, and reasoning ablations can confound reasoning content with changes in inference mode. Together, these results show that exposing reasoning can change an agent's action policy rather than simply make it observable. We provide controls for evaluating reasoning-based oversight of agents that can act or abstain.
- Abstract（参考訳）: 多くのエージェントシステムは、行動と棄権のどちらを繰り返すかを繰り返し選択し、見過ごせるために忠実な推論を重要視する必要がある: 説明は、行動を生み出した計算を反映している場合にのみ有用である。
我々は、多人数会話における介入タイミングを通じてこの問題を調査し、そこでは、アシスタントが話すか沈黙するかを判断しなければならない。
この設定は、クラス不均衡、非対称なアクションコスト、および監査対象のポリシーが変更される可能性を明らかにする。
Qwen3-8Bを用いて、直接決定ポリシー、推論ポリシー、教師付き微調整、強化学習を比較した。
最強の直接政策は、より高い品質を達成するが、検査する理由を明かさない一方、推論政策は、パフォーマンスの低下、特に真の介入機会のリコールにおいて、トレースを提供する。
監視された微調整は、推論を抑えるか、意思決定の質を向上させることなく維持する一方、強化学習は推論ポリシーを改善するのに失敗する。
グループ相対目的は、サンプルロールアウトがすべて同じアクションを選択するとき、確実に間違ったプロンプトについて学習信号を提供しない。
制御されたアクティベーションプローブと行動改善は、標準的な忠実度手法が、暴露された推論が根底にある決定過程を反映しているという証拠を誇張できることを示している。
確率に基づくメトリクスは、確実な判断の下で飽和し、調査者はクラス不均衡やテキストのリークに弱い。
これらの結果は、単に観察できるというよりはエージェントの行動方針を変えることができることを示している。
我々は、行動または棄権可能なエージェントの推論に基づく監視を評価するための制御を提供する。
関連論文リスト
- Reconciling Process Supervision with Outcome-Based Credit in Agentic Policy Optimization [13.354353071601379]
我々は、特権付き監督を成果ベースアクションクレジットに変換するTASPOを紹介する。
3つのエージェントベンチマークで、TASPOはGRPOよりも10.6%改善し、目に見えないタスクを一般化する。
論文 参考訳（メタデータ） (2026-08-31T16:51:50Z) - Do Vision-Language-Action Models Mean What They Say? On the Role of Faithfulness in Embodied Reasoning [17.56588495990139]
Embodied Chain-of-Thoughtは、ロボットによる意思決定を強化するための、有望なメカニズムとして登場した。
我々は、SoTAアライメント戦略は必要だが忠実性の不十分な概念を提供すると論じる。
我々は、学習評論家ピノッキオ(Pinocchio)を通じて、信仰を具体化するための行動サロゲートを運用する。
論文 参考訳（メタデータ） (2026-07-06T05:10:27Z) - ConsisGuard: Aligning Safety Deliberation with Policy Enforcement in LLM Guardrails [57.25411733152009]
推論に基づくガードレールは、最終的な決定を下す前に明確な合理性を生成することによって安全性のモデレーションを改善する。
モデルは、その推論において有害な意図を認識することができるが、それでも安全なラベルを予測したり、政策を根拠とした正当化なしに安全でない決定を下す。
推論に基づくガードレールのための一貫性を考慮したフレームワークであるConsisGuardを提案する。
論文 参考訳（メタデータ） (2026-05-29T09:42:08Z) - When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning for Embodied Robotic Decision-Making [68.12864562049957]
身体ロボットシステムは、高レベルの推論をサポートするために、大規模言語モデル(LLM)ベースのエージェントにますます依存している。
エージェントはいつ、いつ、いつ行動すべきか?
本稿では,エンボディエージェントのリソース・アウェア・オーケストレーションのための階層的なフレームワークであるRARRL(Resource-Aware Reasoning via Reinforcement Learning)を提案する。
論文 参考訳（メタデータ） (2026-03-17T15:38:50Z) - Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning [50.352417879912515]
大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。
一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。
次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
論文 参考訳（メタデータ） (2026-02-06T08:03:11Z) - From Sycophancy to Sensemaking: Premise Governance for Human-AI Decision Making [0.0]
低フリクションアシスタントはサイコファンになり、暗黙の仮定を叩き、検証コストを専門家に押し付ける。
我々は、信頼できる人間とAIのパートナーシップには、回答生成から共同前提ガバナンスへの移行が必要であると主張している。
論文 参考訳（メタデータ） (2026-02-02T17:42:54Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳（メタデータ） (2026-01-23T17:17:32Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Critical or Compliant? The Double-Edged Sword of Reasoning in Chain-of-Thought Explanations [60.27156500679296]
系統的な推論連鎖の摂動とデリバリートーンの操作による道徳シナリオにおけるCoT(Chain-of-Thought)の説明の役割について検討した。
1) 利用者は, 根拠に欠陥がある場合でも, 信頼感を保ち, 結果合意を信頼する傾向がみられた。
これらの結果は、CoTの説明が同時に明確化と誤解を招き、視覚的信頼よりも精査と批判的思考を奨励する説明を提供するNLPシステムの必要性を強調している。
論文 参考訳（メタデータ） (2025-11-15T02:38:49Z) - Learning to Seek Evidence: A Verifiable Reasoning Agent with Causal Faithfulness Analysis [10.749786847079163]
医学のような高度な領域におけるAIモデルの説明は、しばしば信頼性を欠いているため、信頼を妨げる可能性がある。
本稿では,対話型エージェントを提案する。
このポリシーは強化学習を用いて最適化され、効率的かつ一般化可能なモデルとなる。
論文 参考訳（メタデータ） (2025-11-03T10:21:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。