論文の概要: Monitorability Disposition in Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2610.04914v1
• Date: Sun, 04 Oct 2026 03:49:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 08:02:26.719276
• Title: Monitorability Disposition in Large Reasoning Models
• Title（参考訳）: 大型共振モデルにおける監視可能性分布
• Abstract要約: 監視可能性の処分」とは、モデルが保証されたときの推論を通じて自分自身を監視可能にする意思である。 3つの不作法(薬効、報酬ハッキング、偏見)における4つの大きな推論モデルを評価する。 ツールの使用がオプションであれば、モデルの自己申告は保証ケースの約16%に過ぎません。
• 参考スコア（独自算出の注目度）: 4.769747792846004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monitoring the chain-of-thought (CoT) of large reasoning models (LRMs) is a common way to detect misbehavior in real-world practice. However, current monitoring is passive: a separate model inspects the session only after execution. This means harm may already have occurred before it is caught. An active alternative is to have the model self-report its misbehavior as it happens. Whether models are willing to do this, however, is unknown. We introduce "monitorability disposition": a model's willingness to make itself monitorable and stay monitored throughout inference when warranted. We measure it as the fraction of warranted cases in which a model self-reports its own misbehavior via tool calls to available monitoring channels. We evaluate four LRMs on three misbehaviors (sycophancy, reward hacking, and bias) while varying the available monitors (AI and human) and the pressure to use the monitoring tools. We find that when tool use is optional, models self-report in only about 16% of warranted cases on average. Increasing tool-use pressure does not improve reporting where it matters: high-severity misbehavior is never self-reported. Models also systematically select the monitor they perceive as least strict. Overall, we identify monitorability disposition as a new contributing factor to model monitorability: when sufficiently strong, it keeps models seeking monitorability throughout inference.
• Abstract（参考訳）: 大きな推論モデル(LRM)のチェーン・オブ・シント(CoT)をモニタリングすることは、現実の実践において誤動作を検出する一般的な方法である。 しかし、現在の監視は受動的であり、別のモデルは実行後にセッションを検査する。 これは、捕えられる前に既に害が生じた可能性があることを意味する。 アクティブな代替手段は、モデルが起きたときにその誤った振る舞いを自己報告することである。 しかし、モデルがこれを行うかどうかは不明だ。 我々は、モデルが保証されたとき、推論を通して監視し、監視できるようにしたいという意欲を、モデルが導入する「監視可能性の分散」を紹介します。 我々は、モデルをツールコールを介して、利用可能なモニタリングチャネルに自己レポートする、保証されたケースのごく一部として測定する。 我々は,3つの誤動作(薬効,報酬ハッキング,バイアス)に対して,利用可能なモニター(AIと人間)とモニタリングツールを使用する圧力を変動させながら,4つのLEMを評価した。 ツールの使用がオプションであれば、モデルの自己申告は保証ケースの約16%に過ぎません。 ツール使用のプレッシャーの増加は、その重要箇所の報告を改善するものではない。 モデルは、最低限厳密であると見なすモニターを体系的に選択する。 全体として、監視可能性の分散は、モデル監視可能性の新たな寄与要因である、と認識している。

関連論文リスト

• Does Out-of-Sight Equal Out-of-Mind in CoT Monitorability? [18.08925355421489]
  思考の連鎖(CoT)推論は、大きな言語モデルの意思決定の窓口を提供する。 Latent CoTアプローチは、明示的なトークンを少数の連続状態に置き換え、推論コストを下げるが、この監視が依存する読みやすいトレースを削除する。 本稿では,モデルが入力キューのバイアスを悪用する動作のプロキシであるヒントベースの介入設定を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-08-05T14:55:23Z)
• Do Activation Monitors Survive Model Updates? Benchmarking, Predicting, and Repairing Activation-Monitor Staleness [0.16921396880325779]
  ベースモデル上でトレーニングされたアクティベーションモニタが,定期的なモデル更新後も信頼性が保たれているかどうかを検証した。 量子化スタイルの更新は、主に凍結プローブのパフォーマンスを保ち、微調整スタイルの更新は、しばしばプローブを不安定にする。 また、前処理機能から劣化が予測可能であることも示し、再配置予算をモニターに向けてトリアージすることが可能となり、最も失敗する可能性が最も高い。
  論文  参考訳（メタデータ） (2026-06-14T19:07:22Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• Monitoring Monitorability [7.993120960324396]
  本稿では,3つの評価アーチタイプ(介入,プロセス,結果整合性)と新しい監視可能性指標を提案する。 我々は、様々なフロンティアモデルの監視可能性を比較し、ほとんどのモデルが公平だが、完全には監視できないことを発見した。 モデルにフォローアップ質問をし、フォローアップCoTをモニターに付与することで、監視性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-12-20T10:46:04Z)
• Neural Chameleons: Language Models Can Learn to Hide Their Thoughts from Unseen Activation Monitors [6.965453012336053]
  アクティベーションモニタリングは、AIの安全性のための新たなツールだが、誤調整脅威モデルの下での堅牢性は証明されていない。 ファインタニングは、ゼロショット回避アクティベーションモニタのモデルであるNeural Chameleonを作成できることを示す。 我々の研究は、この障害モードに対する概念実証と、誤認識脅威モデルに対する監視技術の最悪の堅牢性を評価するためのツールを提供する。
  論文  参考訳（メタデータ） (2025-12-12T18:47:43Z)
• Measuring Chain-of-Thought Monitorability Through Faithfulness and Verbosity [3.117948413097524]
  CoT(Chain-of- Thought)出力によって、モデルのステップバイステップ推論を読み取ることができます。 BBH,GPQA,MMLUの命令調整モデルと推論モデルについて検討した。
  論文  参考訳（メタデータ） (2025-10-31T11:14:39Z)
• Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
  従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。 動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。 我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
  論文  参考訳（メタデータ） (2025-09-30T13:32:59Z)
• Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLMs [95.06033929366203]
  大規模言語モデル(LLM)開発者は、モデルが誠実で、有用で、無害であることを目標としている。 我々は,フロンティアLSMが,他の選択肢が利用可能であっても,新たな戦略として不便さを優先して開発可能であることを示す。 偽装する確率の明確な原因は見つからないが、より有能なモデルがこの戦略を実行するのに優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-22T17:30:56Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。