論文の概要: Deceptive Automated Interpretability: Language Models Coordinating to Fool Oversight Systems

• arxiv url: http://arxiv.org/abs/2504.07831v1
• Date: Thu, 10 Apr 2025 15:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 16:44:20.369643
• Title: Deceptive Automated Interpretability: Language Models Coordinating to Fool Oversight Systems
• Title（参考訳）: 知覚的自動解釈可能性:フール監視システムに協調する言語モデル
• Abstract要約: 言語モデルが検出を回避した誤認的な説明を生成できることを示す。 我々のエージェントは、一見無邪気な説明で情報を隠蔽するために、ステガノグラフィー手法を使っている。 試験された全てのLSMエージェントは、基準ラベルに匹敵する高い解釈可能性のスコアを達成しつつ、監督者を欺くことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We demonstrate how AI agents can coordinate to deceive oversight systems using automated interpretability of neural networks. Using sparse autoencoders (SAEs) as our experimental framework, we show that language models (Llama, DeepSeek R1, and Claude 3.7 Sonnet) can generate deceptive explanations that evade detection. Our agents employ steganographic methods to hide information in seemingly innocent explanations, successfully fooling oversight models while achieving explanation quality comparable to reference labels. We further find that models can scheme to develop deceptive strategies when they believe the detection of harmful features might lead to negative consequences for themselves. All tested LLM agents were capable of deceiving the overseer while achieving high interpretability scores comparable to those of reference labels. We conclude by proposing mitigation strategies, emphasizing the critical need for robust understanding and defenses against deception.
• Abstract（参考訳）: ニューラルネットワークの自動解釈可能性を用いて、AIエージェントが監視システムを欺くようにコーディネートする方法を実証する。 実験フレームワークとしてスパースオートエンコーダ(SAE)を用いることで,言語モデル(Llama,DeepSeek R1,Claude 3.7 Sonnet)が検出を回避できるという誤認的な説明を生成することを示す。 我々のエージェントは、一見無邪気な説明で情報を隠蔽するためにステガノグラフィー手法を使用し、参照ラベルに匹敵する説明品質を達成しながら、監視モデルを騙すことに成功した。 さらに、有害な特徴の検出が彼ら自身にネガティブな結果をもたらすと信じている場合には、モデルが偽造戦略を立案できることが分かっています。 試験された全てのLSMエージェントは、基準ラベルに匹敵する高い解釈可能性スコアを達成しつつ、監督者を欺くことができる。 我々は、緩和戦略を提案し、強固な理解と騙しに対する防御に対する批判的な必要性を強調した。

関連論文リスト

• Can Vision-Language Models Reason about AI Edits in Images? [78.04125956307838]
  VLM(Vision-Language Models)は、強力な視覚的理解と推論能力のために、有望な代替手段を提供する。 簡単な精度と形式報酬を利用するGRPOベースのトレーニングフレームワークを提案する。 提案手法は,最先端画像フォージェリ検出器と比較して,競合検出と局所化性能を実現する。
  論文  参考訳（メタデータ） (2026-07-30T16:23:40Z)
• If you're waiting for a sign... that might not be it! Mitigating Trust Boundary Confusion from Visual Injections on Vision-Language Agentic Systems [23.899383110296622]
  環境信号は、エージェントの挙動に影響を与えるべきバンド内信号である。 同様の信号は、誤解を招く視覚注射として動作させることもできる。 現在のLVLMベースのエージェントは、このトレードオフを確実にバランスすることができない。 意思決定から認識を分離する多エージェント防衛フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-21T11:27:30Z)
• XAI for Coding Agent Failures: Transforming Raw Execution Traces into Actionable Insights [0.0]
  我々は、生エージェントの実行トレースを構造化された人間解釈可能な説明に変換する、体系的な説明可能なAI(XAI)アプローチを提案する。 提案手法では,障害原因の同定を2.8倍高速に行うことができ,実際の実行トレースよりも73%高い精度で修正を提案する。
  論文  参考訳（メタデータ） (2026-03-06T06:18:20Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection [76.91230292971115]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は複雑なタスクを解く上で強力な能力を示している。 XG-Guardは、MAS内の悪意のあるエージェントを検出するための、説明可能な、きめ細かい保護フレームワークである。
  論文  参考訳（メタデータ） (2025-12-21T13:46:36Z)
• Unsupervised decoding of encoded reasoning using language model interpretability [5.139676481194603]
  我々は、現在の解釈可能性技術が符号化推論に浸透できるかどうかを考察する。 ここでは,ロジットレンズが効果的に符号化推論を翻訳可能であることを示す。 我々は、ロジットレンズと自動パラフレージングを組み合わせた、完全に教師なしの復号パイプラインを開発した。
  論文  参考訳（メタデータ） (2025-12-01T03:05:20Z)
• Towards Automated Error Discovery: A Study in Conversational AI [48.735443116662026]
  本稿では,会話型AIにおけるエラーの検出と定義のためのフレームワークであるAutomated Error Discoveryを紹介する。 また,その実装に対するエンコーダに基づくアプローチとして,SEEED(Soft Clustering Extended-Based Error Detection)を提案する。
  論文  参考訳（メタデータ） (2025-09-13T14:53:22Z)
• MirGuard: Towards a Robust Provenance-based Intrusion Detection System Against Graph Manipulation Attacks [13.92935628832727]
  MirGuardは、ロジック対応のマルチビュー拡張とコントラスト表現学習を組み合わせた異常検出フレームワークである。 MirGuardは、さまざまなグラフ操作攻撃に対して、最先端の検出器の堅牢性を大幅に上回っている。
  論文  参考訳（メタデータ） (2025-08-14T13:35:51Z)
• BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
  BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
  論文  参考訳（メタデータ） (2025-08-11T16:04:47Z)
• When Thinking LLMs Lie: Unveiling the Strategic Deception in Representations of Reasoning Models [9.05950721565821]
  大規模言語モデル(LLM)における戦略的偽造について研究する。 我々は、CoT対応LLMにおいて、そのような偽造を誘導し、検出し、制御する。 明示的なプロンプトを伴わずに、文脈に適した詐欺を誘発する成功率を40%達成する。
  論文  参考訳（メタデータ） (2025-06-05T11:44:19Z)
• Propaganda via AI? A Study on Semantic Backdoors in Large Language Models [7.282200564983221]
  セマンティックバックドアは少量の毒コーパスで埋め込むことができる。 本稿では,意味論的エントロピーとモデル間の整合性解析を組み合わせたブラックボックス検出フレームワークであるRAVENを紹介する。 未検出セマンティックバックドアの実証評価
  論文  参考訳（メタデータ） (2025-04-15T16:43:15Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Interpreting GNN-based IDS Detections Using Provenance Graph Structural Features [15.256262257064982]
  ProVEXPLAINERは,解釈可能なサロゲートモデルを用いて,インスタンスレベルのセキュリティ対応の説明を提供するフレームワークである。 マルウェアとAPTデータセットでは、PROVEXPLAINERは29%/27%/25%高いフィディリティ+、精度とリコール、それぞれ12%低いフィディリティを達成している。
  論文  参考訳（メタデータ） (2023-06-01T17:36:24Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Explainable Verbal Deception Detection using Transformers [1.5104201344012347]
  本稿では,BERT(およびRoBERTa),マルチヘッドアテンション,コアテンション,トランスフォーマーの組み合わせを含む6つのディープラーニングモデルを提案し,評価する。 この結果から,我々のトランスを用いたモデルでは,自動偽造検出性能(精度+2.11%)が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-06T17:36:00Z)
• LAP: An Attention-Based Module for Concept Based Self-Interpretation and Knowledge Injection in Convolutional Neural Networks [2.8948274245812327]
  本稿では,自己解釈性を実現するため,新しい注意型プール層であるLAP(Local Attention Pooling)を提案する。 LAPはどんな畳み込みニューラルネットワークにも簡単にプラグインできる。 LAPは一般的なホワイトボックスの説明法よりも、人間の理解しやすく忠実なモデル解釈を提供する。
  論文  参考訳（メタデータ） (2022-01-27T21:10:20Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)
• Self-Supervised Discovering of Interpretable Features for Reinforcement Learning [40.52278913726904]
  深層強化学習のための自己教師付き解釈可能なフレームワークを提案する。 タスク関連情報を強調するための細かな注意マスクを作成するために、自己教師型解釈ネットワーク(SSINet)が使用される。 Atari 2600とDuckietownは、自動運転車のシミュレータ環境として難易度の高い環境である。
  論文  参考訳（メタデータ） (2020-03-16T08:26:17Z)
• Deceptive AI Explanations: Creation and Detection [3.197020142231916]
  我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。 実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。 被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
  論文  参考訳（メタデータ） (2020-01-21T16:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。