論文の概要: Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement

• arxiv url: http://arxiv.org/abs/2609.24243v1
• Date: Mon, 21 Sep 2026 08:08:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.97411
• Title: Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement
• Title（参考訳）: メカニカルエビデンスからアクティベーション強化まで
• Abstract要約: 強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
• 参考スコア（独自算出の注目度）: 74.92755267784983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) improves reasoning in vision-language models (VLMs) but can induce chain-of-thought (CoT) obfuscation: an operational, non-intentional outcome where task reward or accuracy rises while traces become less grounded and monitorable. Prior work largely documents this decay behaviorally, leaving its representation-level correlates and actionable controls unclear. We find that template- and ground-associated activations become less separable during RL; matched interventions support the contribution of selected features to monitorability degradation. Guided by this evidence, we propose Targeted Anti-obfuscation with Mechanistic Enforcement (TAME), which uses Sparse Autoencoders (SAEs) to combine behavioral feedback with targeted suppression of template-associated activations during RL. Its asymmetric constraint penalizes template activations only above their pre-RL baseline, anchoring the localized features while behavioral feedback promotes grounded refinements. Across VIRL-39k, SPA-VL, and two model families, TAME improves CoT monitorability by up to 30.9 and 16.7 percentage points over Group Relative Policy Optimization (GRPO), respectively. Blinded human evaluation finds higher human monitorability on both datasets, and two held-out monitor families reproduce the monitorability gains. Task accuracy changes are small and mixed, and general-capability benchmarks show task-specific trade-offs. These results provide a path from behavioral monitoring to representation-level oversight for more auditable RL-trained multimodal systems.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、視覚言語モデル(VLM)における推論を改善するが、チェーン・オブ・シークレット(CoT)難読化(英語版)を誘導することができる。 以前の研究はほとんどが、この崩壊を行動的に記録しており、その表現レベルの相関と作用可能な制御は不明確である。 テンプレートおよび接地関連活性化はRL中は分離しにくくなり, 一致した介入は, 監視性劣化に対する選択された特徴の寄与を支持する。 本稿では,Sparse Autoencoders (SAE) を用いて,行動フィードバックとRL中のテンプレート関連アクティベーションの標的抑制を組み合わせたTAME(Targeted Anti-obfuscation with Mechanistic Enforcement)を提案する。 非対称的な制約は、前RLベースラインの上のテンプレートアクティベーションのみを罰し、局所的な特徴を固定し、行動フィードバックは接地された洗練を促進する。 VIRL-39k、SPA-VL、および2つのモデルファミリにおいて、TAMEはグループ相対政策最適化(GRPO)よりも最大30.9および16.7%のCoT監視性を向上している。 ブラインドされた人間の評価は、両方のデータセット上で高い監視可能性を示し、2つの保持されたモニターファミリが監視可能性の向上を再現する。 タスクの精度の変化は小さく混在しており、汎用性ベンチマークではタスク固有のトレードオフを示している。 これらの結果は、より監査可能なRL学習マルチモーダルシステムのための行動監視から表現レベルの監視への道を提供する。

関連論文リスト

• TrustVLA: Mechanism-Guided Inference-Time Defense Against Vision-Language-Action Backdoors [54.12833308568015]
  VLA(Vision-Language-Action)モデルは、エンドユーザが監査できないパイプラインを通じてデプロイされる。 小さな視覚トリガーは、障害が観測可能である前に、長い水平ロボットポリシーをリダイレクトする。 個別に提案した2つのVLA攻撃を通してこのギャップについて検討した。
  論文  参考訳（メタデータ） (2026-07-14T09:43:52Z)
• AgentIAD: Tool-Augmented Single-Agent for Industrial Anomaly Detection [9.208080780536504]
  AgentIADは、多段階の視覚検査を可能にするツール駆動のフレームワークである。 AgentIADは、MMADの新しい最先端の97.62%の分類精度を達成する。
  論文  参考訳（メタデータ） (2025-12-15T18:57:04Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
  CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。 CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。 このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
  論文  参考訳（メタデータ） (2025-05-29T15:47:36Z)
• Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
  エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。 最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
  論文  参考訳（メタデータ） (2025-03-14T23:50:34Z)
• GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training [62.536191233049614]
  検証結果報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)におけるチェーン・オブ・ソート(CoT)推論を効果的にスケールアップした。 本研究は、24点やALFWorldの具体化タスクなど、複雑なカードゲームに関する広範な実験を通じてこの問題を調査する。 報酬が行動結果にのみ基づく場合、RLはVLMにおけるCoT推論の動機付けに失敗し、代わりに思考崩壊と呼ばれる現象が生じる。
  論文  参考訳（メタデータ） (2025-03-11T15:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。