論文の概要: OwlSight: A Panoramic Monitor for Chain-of-Thought Reasoning
- arxiv url: http://arxiv.org/abs/2610.23670v2
- Date: Wed, 21 Oct 2026 01:28:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:05.963827
- Title: OwlSight: A Panoramic Monitor for Chain-of-Thought Reasoning
- Title（参考訳）: OwlSight:パノラマモニター
- Abstract要約: Chain-of-Thought(CoT)モニタリングは、監視可能なAIシステムの実用的な証拠を提供する。
我々は、プロンプト内の監視要求をカスタマイズする戦略である、CoTモニタリングのためのFacterを導入する。
我々はOwlSightという名前のCoTモニタを開発し、複数の次元に関連する挙動をモニタする要因のみに依存している。
- 参考スコア（独自算出の注目度）: 25.761642850518083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-Thought (CoT) monitoring offers actionable evidence for oversight AI systems, with the potential to enable early detection and intervention. However, existing approaches are focused on specific tasks, whereas the regulation of AI, particularly reasoning models, requires monitoring a broader range of tasks. We introduce Factor for CoT monitoring, a strategy that supports customizing monitoring requirements in the prompt, which enables a single monitor to cover different tasks by relying on different factors. Furthermore, we introduce two types of factors, fine-grained and coarse-grained (e.g., monitoring whether a specific email address has been leaked versus monitoring privacy leakage), to accommodate diverse user monitoring needs. Based on this, we develop a CoT monitor named OwlSight that relies solely on factor to monitor behaviors related to multiple dimensions, including capability, safety, and trustworthiness. Experiments across 15,971 reasoning trajectories show that OwlSight surpasses general-purpose LLMs by 1.32-30.57 and 11.71-27.81 points at fine and coarse granularity, respectively, and achieves state-of-the-art results on OpenAI's CoT monitorability benchmark. It also generalizes to unseen models' CoTs and remains robust to Factor rephrasings, CoT compression, and obfuscation, offering a promising paradigm for CoT monitoring that can contribute to the oversight of frontier AI.
- Abstract（参考訳）: Chain-of-Thought(CoT)モニタリングは、監視可能なAIシステムの証拠であり、早期検出と介入を可能にする可能性がある。
しかし、既存のアプローチは特定のタスクに焦点を当てているが、AIの規制、特に推論モデルでは、幅広いタスクを監視する必要がある。
我々は、プロンプト内の監視要求をカスタマイズする戦略であるFacter for CoTモニタリングを導入し、異なる要因に依存することで、単一のモニタが異なるタスクをカバーできるようにする。
さらに,ユーザ監視の多様なニーズに対応するために,細粒度と粗粒度(例えば,特定のメールアドレスが漏洩したかどうかの監視と,プライバシー漏洩の監視)の2つの要因を導入する。
これに基づいて,我々はOwlSightというCoTモニタを開発し,機能,安全性,信頼性など,多次元の行動を監視する要因のみに依存している。
15,971の推理軌道での実験により、OwlSight は汎用 LLM を 1.32-30.57 と 11.71-27.81 の細粒度で上回り、OpenAI の CoT 監視性ベンチマークで最先端の結果が得られた。
また、モデルのCoTを見えないものに一般化し、Facterリフレーズ、CoT圧縮、難読化に引き続き堅牢であり、フロンティアAIの監視に寄与するCoT監視のための有望なパラダイムを提供する。
関連論文リスト
- IVT-Guard: All-in-One Reasoning Model for AI-Generated Content Detection [68.61333779483097]
本稿では,画像,ビデオ,テキストモダリティ間でAIGC検出を統一かつ解釈可能なフレームワークであるIVT-Guardを提案する。
IVT-Guardは、ドメイン内、ドメイン外、データセット間における最先端検出性能を達成する。
論文 参考訳（メタデータ） (2026-09-27T14:00:55Z) - Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。
本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。
VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
論文 参考訳（メタデータ） (2026-09-21T08:08:56Z) - Monitoring Data-aware Temporal Properties (Extended Version) [56.386411908764494]
有限トレース上の任意のSMT理論に富む線形時間特性の予測モニタリングについて考察する。
この設定での予測モニタリングは非常に困難であり、監視状態はこれまでのトレースプレフィックスと可能な有限継続の両方に依存している。
本研究は,表現的フラグメントオフMTにおける特性モニタリングのための新しい基礎的枠組みの正しさを提示し,正式に証明するものである。
論文 参考訳（メタデータ） (2026-05-14T10:23:11Z) - MonitorBench: A Comprehensive Benchmark for Chain-of-Thought Monitorability in Large Language Models [17.655317708526603]
大規模言語モデル(LLM)は、最終的な出力に対して必ずしも因果的ではない思考の連鎖(CoT)を生成することができる。
本研究では,LCMのCoT監視性を評価するためのベンチマークである MonitorBench を提案する。
論文 参考訳（メタデータ） (2026-03-30T15:37:42Z) - Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。
我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。
フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
論文 参考訳（メタデータ） (2026-03-14T00:12:14Z) - Investigating CoT Monitorability in Large Reasoning Models [10.511177985572333]
大規模推論モデル (LRM) は、最終解を出す前に拡張推論をすることで複雑なタスクにおいて顕著な性能を示す。
これらの詳細な推論トレースは、AI安全性、CoT Monitorabilityの新しい機会も生み出す。
しかし、CoT分析によってより効率的なモニターを構築しようとすると、2つの根本的な課題が生じる。
論文 参考訳（メタデータ） (2025-11-11T18:06:34Z) - Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety [85.79426562762656]
CoTモニタリングは不完全であり、一部の誤った行動に気づかないままにすることができる。
我々は、既存の安全手法とともに、CoT監視可能性とCoT監視への投資についてさらなる研究を推奨する。
CoTの監視性は脆弱である可能性があるので、フロンティアモデル開発者がCoTの監視性に対する開発決定の影響を考慮することを推奨します。
論文 参考訳（メタデータ） (2025-07-15T16:43:41Z) - CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。
CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。
このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
論文 参考訳（メタデータ） (2025-05-29T15:47:36Z) - Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。
最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
論文 参考訳（メタデータ） (2025-03-14T23:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。