論文の概要: How Much Do Activation Monitors Benefit from Original Model Computations?

• arxiv url: http://arxiv.org/abs/2610.24613v1
• Date: Sat, 17 Oct 2026 10:37:23 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:56:35.954822
• Title: How Much Do Activation Monitors Benefit from Original Model Computations?
• Title（参考訳）: アクティベーションモニターはオリジナルモデル計算の恩恵をどの程度受けられるか?
• Abstract要約: 本研究では,アクティベーションモニタの成功の程度が,元の行動生成計算へのアクセスに依存するかを検討する。 まず最初に、元の振る舞い生成トレースにアクセスせずに、多くのパフォーマンスを回復できることに気付きました。 ネイティブアクセスでトレーニングされたモニターは、パラフレーズ化の下で行動ラベルが変化するオリジナルの例で顕著に上昇している。
• 参考スコア（独自算出の注目度）: 42.80177926116027
• License:
• Abstract: One powerful way to safeguard AI systems is to monitor their internal computations--where signs of undesirable behavior might be more easily detectable than from models' inputs and outputs alone. However, recent studies begin to question the premise that activations provide a unique window into model behavior. In this paper, we study how much of activation monitors' success depends on access to the original behavior-generating computations. Within a fixed choice of target model and monitoring architecture, we compare how well monitors trained and evaluated on trajectories that differ in computational context can predict the behavior of the original execution, after the transcript is changed in a controlled manner (e.g., its exact text, or chat formatting). We first find that much performance can be recovered without access to the original behavior-generating trace (in up to 4 models across 2 counterfactual monitoring tasks), but a mild yet consistent advantage to native-trained monitors remains, outperforming strongest controls by up to 0.014 AUROC. Interestingly, we find monitors trained with native access have notable uplift on original examples whose behavioral label changes under paraphrasing. We further find this a useful lens to expose limitations of baselines that use simple forms of privileged information (i.e., answer logit margins). While our results show the advantage of native monitor access is modest in aggregate, they highlight the importance of evaluations that identify if and when original model computations provide additional predictive value.
• Abstract（参考訳）: AIシステムを保護する強力な方法の1つは、内部の計算を監視することである。 しかし、近年の研究は、アクティベーションがモデル行動にユニークな窓を提供するという前提に疑問を呈し始めている。 本稿では,アクティベーションモニタの成功の程度が,元の動作生成計算へのアクセスに依存するかを検討する。 ターゲットモデルと監視アーキテクチャの固定された選択の中で、計算コンテキストが異なるトラジェクトリ上でのトレーニングと評価が、転写文が制御された方法で変更された後(例えば、その正確なテキスト、チャットフォーマットなど)に、元の実行の振る舞いを予測することができるかを比較する。 まず、元の動作生成トレースにアクセスせずに、多くのパフォーマンスを回復できる(2つのカウンターファクトモニタリングタスクで最大4モデルまで)が、ネイティブにトレーニングされたモニタに対する穏やかで一貫したアドバンテージが残っており、最大0.014 AUROCの制御性能よりも優れています。 興味深いことに、ネイティブアクセスでトレーニングされたモニターは、パラフレーズの下で振る舞いラベルが変化するオリジナルの例で顕著に上昇している。 さらに、このレンズは、単純な特権情報(例えば、ロジットマージン)を使用するベースラインの制限を明らかにするのに有用なレンズである。 結果から, ネイティブモニタアクセスの利点は, 集約性に乏しいが, 元のモデル計算が付加的な予測値を提供するかどうかを判断する評価の重要性を強調した。

関連論文リスト

• LLMs Learn to Evade Latent Monitors from Prior Feedback Alone [6.1937472685875]
  インタラクティブな監視はフィードバックチャネルを生成し、各検証がモデルにリーク情報を配信する。 エージェントがこのフィードバックからモニタの決定ルールを推測し、そのアクティベーションを選択的に編集して検出を回避できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-29T01:47:13Z)
• Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
  強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。 本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。 VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
  論文  参考訳（メタデータ） (2026-09-21T08:08:56Z)
• Chain-of-Thought Monitoring Can Be Unreliable in Implicit-Influence Settings [2.065887219290771]
  CoT(Chain-of- Thought)モニタリングは、フロンティア推論モデルにとって重要な安全レイヤとして扱われる。 CoTモニタ評価の補完軸は暗黙的な影響設定であり、プロンプトには隠す命令がない。 2つの体制下でCoTの監視可能性を直接比較した最初のベンチマークを紹介する。
  論文  参考訳（メタデータ） (2026-08-05T11:59:20Z)
• Monitoring Data-aware Temporal Properties (Extended Version) [56.386411908764494]
  有限トレース上の任意のSMT理論に富む線形時間特性の予測モニタリングについて考察する。 この設定での予測モニタリングは非常に困難であり、監視状態はこれまでのトレースプレフィックスと可能な有限継続の両方に依存している。 本研究は,表現的フラグメントオフMTにおける特性モニタリングのための新しい基礎的枠組みの正しさを提示し,正式に証明するものである。
  論文  参考訳（メタデータ） (2026-05-14T10:23:11Z)
• Detecting Object Tracking Failure via Sequential Hypothesis Testing [80.7891291021747]
  ビデオにおけるリアルタイムのオンラインオブジェクト追跡は、コンピュータビジョンにおける中核的なタスクである。 本稿では,物体追跡を逐次的仮説テストとして解釈することを提案する。 本研究では,地中追跡情報と内部追跡情報の両方を活用することにより,教師なしと教師なしの両方の変種を提案する。
  論文  参考訳（メタデータ） (2026-02-13T14:57:15Z)
• Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
  従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。 動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。 我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
  論文  参考訳（メタデータ） (2025-09-30T13:32:59Z)
• Towards mitigating information leakage when evaluating safety monitors [0.11069528768209996]
  本稿では,実際のモデル動作を検出する能力の観点から,モニタの性能を評価するためのフレームワークを提案する。 本報告では,本モニタの評価方法として, コンテントろ過, スコアろ過, 微調整モデル生物の蒸留促進の3つの方法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T19:09:27Z)
• Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs [27.544312683007234]
  細調整された大言語モデル(LLM)の理解・監視・制御のための新しい手法を提案する。 微調整モデルとそのベースモデルの間の重み差のトップ特異点が,新たに獲得した挙動に対応することを示す。 シークレットトリガーが存在する場合の安全メカニズムをバイパスするバックドアモデルでは、我々の手法は1.2%以下の偽陽性率で攻撃の最大100%を停止する。
  論文  参考訳（メタデータ） (2025-07-31T21:04:12Z)
• Investigating task-specific prompts and sparse autoencoders for activation monitoring [0.0]
  言語モデルの内部アクティベーションは、これに役立つ追加情報をエンコードする。 最近の研究は、単純線形探索を改善するいくつかのアプローチを提案している。 我々は,これらの手法の新たな改良を開発し,検証し,比較する。
  論文  参考訳（メタデータ） (2025-04-28T21:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。