論文の概要: Behavior Cue Reasoning: Monitorable Reasoning Improves Efficiency and Safety through Oversight
- arxiv url: http://arxiv.org/abs/2605.07021v1
- Date: Thu, 07 May 2026 23:05:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.664368
- Title: Behavior Cue Reasoning: Monitorable Reasoning Improves Efficiency and Safety through Oversight
- Title（参考訳）: ビヘイビアキュー推論:監視可能な推論は監視を通して効率と安全性を向上させる
- Authors: Christopher Z. Cui, Taylor W. Killian, Prithviraj Ammanabrolu,
- Abstract要約: LLM(Large Language Models)における推論(Reasoning in Large Language Models)は、監視の課題である。
LLM推論をより制御しやすく、監視しやすくするための振舞いキュー推論を提案する。
- 参考スコア（独自算出の注目度）: 8.531991753482838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning in Large Language Models (LLMs) poses a challenge for oversight as many misaligned behaviors do not surface until reasoning concludes. To address this, we introduce Behavior Cue Reasoning for making LLM reasoning more controllable and monitorable. Behavior Cues are special token sequences that a model is trained to emit immediately before specific implicit and explicit behaviors, acting as dual purpose signal and control levers. When fine-tuning a weaker external monitor with Reinforcement Learning for reasoning oversight, a compressed view of only information surfaced by Behavior Cues is sufficient signal for the monitor to prune up to 50% of otherwise wasted reasoning tokens in complex math problem solving. When leveraged by an almost optimal rule-based monitor in an environment where excessive constraint violations results in failure, \ours allows for the recovery of safe actions from 80% of reasoning traces that would otherwise end with the proposal of an unsafe action, more than doubling the success rate from 46% to 96%. Through evaluation across two model families and three domains, we show that \bcreasoning improves reasoning monitorability and controllability with no cost to performance. More broadly, our work progresses scalable oversight by demonstrating how the monitored model itself can be trained to reason more tractably to oversight. Code to be released at https://github.com/christopherzc/text-games
- Abstract（参考訳）: 大規模言語モデル(LLM)における推論は、多くの誤った振る舞いが推論が終わるまで現れないため、監視上の課題となる。
これを解決するために, LLM推論をより制御しやすく, 監視しやすくするための振舞いキュー推論を提案する。
振舞いキューは、モデルが暗黙的かつ明示的な振舞いの直前に出力するように訓練され、二重目的信号および制御レバーとして機能する特別なトークンシーケンスである。
強化学習(Reinforcement Learning)を用いてより弱い外部モニターを微調整すると、動作キューによって表面化された情報のみを圧縮したビューが、複雑な数学問題の解法において、モニターが無駄な推論トークンの最大50%を吐き出すのに十分な信号となる。
過剰な制約違反が失敗する環境において、ほぼ最適なルールベースのモニターによって活用される場合、Shaoursは、成功率を46%から96%に倍増するよりも、安全でないアクションの提案で終わるであろう推論トレースの80%から安全なアクションの回復を可能にする。
2つのモデルファミリーと3つのドメインにまたがって評価を行うことで,パフォーマンスに対するコストを伴わず,推論の監視性と制御性が向上することを示す。
より広い範囲で、当社の作業は、監視対象のモデル自体をどのようにトレーニングして、より厳格に監視できるかを実証することで、スケーラブルな監視を進めています。
https://github.com/christopherzc/text-gamesでリリースされるコード
関連論文リスト
- Beyond Content Safety: Real-Time Monitoring for Reasoning Vulnerabilities in Large Language Models [14.927545906619295]
大規模言語モデルは、複雑なタスクを解決するために明示的なチェーン・オブ・シンク(CoT)推論にますます依存している。
LLMの安全性に関する既存の研究は、コンテンツ安全性に焦点を当てている。
我々は、推論の安全性をセキュリティの側面として認識する:モデルの推論の軌道が論理的に一貫したものであるという要求。
論文 参考訳（メタデータ） (2026-03-26T13:08:56Z) - Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。
我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。
フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
論文 参考訳（メタデータ） (2026-03-14T00:12:14Z) - Controllable Reasoning Models Are Private Thinkers [74.40231123523115]
我々は,最終回答だけでなく,トレースの推論においても指示に従うためのトレーニングモデルを提案する。
推論トレースを明示的に制限した命令追従データセット上でモデルを微調整する。
その結果,推論モデルにおける指示追従行動の改善は,プライバシーを著しく向上させる可能性が示唆された。
論文 参考訳（メタデータ） (2026-02-27T17:39:10Z) - Reasoning Under Pressure: How do Training Incentives Influence Chain-of-Thought Monitorability? [7.914706904029561]
推論モデルに適用された異なるエンハンチングインセンティブが、その監視可能性にどのように影響するかを検討する。
対向最適化(監視精度を犠牲にする)がモニター性能を低下させるのに対して、監視可能性の直接最適化は確実に改善に繋がらない。
論文 参考訳（メタデータ） (2025-11-28T21:34:34Z) - The Ends Justify the Thoughts: RL-Induced Motivated Reasoning in LLMs [2.583082967853897]
その結果,ほとんどのフロンティア推論モデルで動機付け推論が検出できることがわかった。
モデルが高度化するにつれて、モニターが検出することがますます困難になる可能性がある。
論文 参考訳（メタデータ） (2025-10-20T00:24:08Z) - Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。
学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
論文 参考訳（メタデータ） (2025-10-02T09:55:26Z) - Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。
動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。
我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
論文 参考訳（メタデータ） (2025-09-30T13:32:59Z) - CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。
CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。
このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
論文 参考訳（メタデータ） (2025-05-29T15:47:36Z) - Mitigating Deceptive Alignment via Self-Monitoring [15.365589693661823]
我々は,CoT Monitor+という,自己監視をチェーン・オブ・シントプロセス自体に組み込むフレームワークを開発した。
生成中、モデルは(i)通常の推論ステップを生成し、(ii)不整合戦略のフラグと抑制のために訓練された内部自己評価信号を生成する。
この信号は強化学習の補助的な報酬として使われ、正直な推論に報いるフィードバックループを作成し、隠れた目標を阻止する。
論文 参考訳（メタデータ） (2025-05-24T17:41:47Z) - Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。
最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
論文 参考訳（メタデータ） (2025-03-14T23:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。