論文の概要: Hodoscope: Unsupervised Monitoring for AI Misbehaviors

• arxiv url: http://arxiv.org/abs/2604.11072v1
• Date: Mon, 13 Apr 2026 06:52:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.371895
• Title: Hodoscope: Unsupervised Monitoring for AI Misbehaviors
• Title（参考訳）: Hodoscope:AIの障害に対する教師なし監視
• Authors: Ziqian Zhong, Shashwat Saxena, Aditi Raghunathan,
• Abstract要約: AIエージェントを監視する既存のアプローチは、既知の障害モードをチェックする人間によるルールやLLMベースの判断に依存している。 我々は教師なしのモニタリングを定式化し、教師なしの学習に類似している。 この洞察を運用するツールであるHodoscopeを紹介します。
• 参考スコア（独自算出の注目度）: 25.119538476586737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing approaches to monitoring AI agents rely on supervised evaluation: human-written rules or LLM-based judges that check for known failure modes. However, novel misbehaviors may fall outside predefined categories entirely and LLM-based judges can be unreliable. To address this, we formulate unsupervised monitoring, drawing an analogy to unsupervised learning. Rather than checking for specific misbehaviors, an unsupervised monitor assists humans in discovering problematic agent behaviors without prior assumptions about what counts as problematic, leaving that determination to the human. We observe that problematic behaviors are often distinctive: a model exploiting a benchmark loophole exhibits actions absent from well-behaved baselines, and a vulnerability unique to one evaluation manifests as behavioral anomalies when the same model runs across multiple benchmarks. This motivates using group-wise behavioral differences as the primary signal for unsupervised monitoring. We introduce Hodoscope, a tool that operationalizes this insight. Hodoscope compares behavior distributions across groups and highlights distinctive and potentially suspicious action patterns for human review. Using Hodoscope, we discover a previously unknown vulnerability in the Commit0 benchmark (unsquashed git history allowing ground-truth recovery, inflating scores for at least five models) and independently recover known exploits on ImpossibleBench and SWE-bench. Quantitative evaluation estimates that our method reduces review effort by 6-23$\times$ compared to naive uniform sampling. Finally, we show that behavior descriptions discovered through Hodoscope could improve the detection accuracy of LLM-based judges, demonstrating a path from unsupervised to supervised monitoring.
• Abstract（参考訳）: AIエージェントを監視する既存のアプローチは、監視された評価に依存している。 しかし、新しい誤った行動は、完全に定義されたカテゴリーの外に落ち、LSMベースの裁判官は信頼できない。 これを解決するために、教師なしモニタリングを定式化し、教師なし学習に類推する。 監視されていないモニターは、特定の誤った行動をチェックするのではなく、人間が問題のあるエージェントの行動を事前に仮定せずに発見し、その決定を人間に任せる。 ベンチマークループホールを悪用したモデルでは、よく知られたベースラインから外れた動作を示し、同じモデルが複数のベンチマークをまたいだ場合、一つの評価に固有の脆弱性が行動異常として現れる。 これは、教師なし監視の主信号としてグループワイドな行動差を使用する動機付けである。 この洞察を運用するツールであるHodoscopeを紹介します。 ホロスコープはグループ間での行動分布を比較し、人間のレビューのための特異かつ潜在的に疑わしい行動パターンを強調している。 Hodoscope を用いて,Unsquashed git history による地中トルース回復,少なくとも5つのモデルでのスコアのインフレーション) と ImpossibleBench および SWE-bench での既知のエクスプロイトを独立に回収する。 定量的評価では,本手法は単純一様サンプリングに比べて6-23$\times$のレビュー工数を削減できる。 最後に,Hodoscope を用いて発見された行動記述により,LLM に基づく判断精度が向上し,教師なしから監督的監視への道筋が示されることを示した。

関連論文リスト

• World Model Failure Classification and Anomaly Detection for Autonomous Inspection [23.48742973289626]
  教師付き障害分類と異常検出を組み合わせたハイブリッドフレームワークを提案する。 我々のアプローチは、圧縮されたビデオ入力を持つ世界モデルバックボーンを使用する。 実験では、成功、失敗、およびOODケースの区別において90%以上の精度が示されている。
  論文  参考訳（メタデータ） (2026-02-18T04:41:14Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• RMSL: Weakly-Supervised Insider Threat Detection with Robust Multi-sphere Learning [23.547623771406187]
  インサイダー脅威検出は、ユーザインタラクションを記録するログを分析することによって、悪意のあるユーザの振る舞いを特定することを目的としている。 教師なしの手法は、正常な行動と異常な行動のあいまいさにより、高い偽陽性率とミス率に直面している。 本稿では,行動レベルの異常の検出能力を高めるために,ロバスト多球学習(RMSL)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-15T13:36:03Z)
• Anomalous Decision Discovery using Inverse Reinforcement Learning [3.3675535571071746]
  異常検出は、知覚システムを通じて異常な行動を特定することによって、自律走行車(AV)において重要な役割を果たす。 現在のアプローチは、しばしば定義済みのしきい値や教師付き学習パラダイムに依存するが、目に見えないシナリオに直面すると効果が低下する。 異常検出のための新しいIRLフレームワークである Trajectory-Reward Guided Adaptive Pre-training (TRAP) を提案する。
  論文  参考訳（メタデータ） (2025-07-06T17:01:02Z)
• OMNISEC: LLM-Driven Provenance-based Intrusion Detection via Retrieval-Augmented Behavior Prompting [4.71781133841068]
  Provenance-based Intrusion Detection Systems (PIDS) はエンドポイントの脅威分析に広く利用されている。 攻撃手法の進化により、ルールは攻撃者の全ての特性を動的にモデル化することはできない。 異常検出システムは、通常の行動の変化と実際の攻撃行動とを区別できないため、重大な偽陽性問題に直面している。
  論文  参考訳（メタデータ） (2025-03-05T02:08:12Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt [80.43623986759691]
  UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。 このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。 我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
  論文  参考訳（メタデータ） (2024-01-02T03:37:11Z)
• Unsupervised Video Anomaly Detection for Stereotypical Behaviours in Autism [20.09315869162054]
  本稿では,コンピュータビジョン技術を用いてステレオタイプ行動を自動的に検出することに焦点を当てる。 本研究では、人間のポーズの時間的軌跡と人間の行動の反復パターンに基づいて、ステレオタイプ行動検出のためのデュアルストリーム深度モデル(DS-SBD)を提案する。
  論文  参考訳（メタデータ） (2023-02-27T13:24:08Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。