論文の概要: Deceptive Automated Interpretability: Language Models Coordinating to Fool Oversight Systems

• arxiv url: http://arxiv.org/abs/2504.07831v1
• Date: Thu, 10 Apr 2025 15:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:23:18.627490
• Title: Deceptive Automated Interpretability: Language Models Coordinating to Fool Oversight Systems
• Title（参考訳）: 知覚的自動解釈可能性:フール監視システムに協調する言語モデル
• Authors: Simon Lermen, Mateusz Dziemian, Natalia Pérez-Campanero Antolín,
• Abstract要約: 言語モデルが検出を回避した誤認的な説明を生成できることを示す。 我々のエージェントは、一見無邪気な説明で情報を隠蔽するために、ステガノグラフィー手法を使っている。 試験された全てのLSMエージェントは、基準ラベルに匹敵する高い解釈可能性のスコアを達成しつつ、監督者を欺くことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We demonstrate how AI agents can coordinate to deceive oversight systems using automated interpretability of neural networks. Using sparse autoencoders (SAEs) as our experimental framework, we show that language models (Llama, DeepSeek R1, and Claude 3.7 Sonnet) can generate deceptive explanations that evade detection. Our agents employ steganographic methods to hide information in seemingly innocent explanations, successfully fooling oversight models while achieving explanation quality comparable to reference labels. We further find that models can scheme to develop deceptive strategies when they believe the detection of harmful features might lead to negative consequences for themselves. All tested LLM agents were capable of deceiving the overseer while achieving high interpretability scores comparable to those of reference labels. We conclude by proposing mitigation strategies, emphasizing the critical need for robust understanding and defenses against deception.
• Abstract（参考訳）: ニューラルネットワークの自動解釈可能性を用いて、AIエージェントが監視システムを欺くようにコーディネートする方法を実証する。 実験フレームワークとしてスパースオートエンコーダ(SAE)を用いることで,言語モデル(Llama,DeepSeek R1,Claude 3.7 Sonnet)が検出を回避できるという誤認的な説明を生成することを示す。 我々のエージェントは、一見無邪気な説明で情報を隠蔽するためにステガノグラフィー手法を使用し、参照ラベルに匹敵する説明品質を達成しながら、監視モデルを騙すことに成功した。 さらに、有害な特徴の検出が彼ら自身にネガティブな結果をもたらすと信じている場合には、モデルが偽造戦略を立案できることが分かっています。 試験された全てのLSMエージェントは、基準ラベルに匹敵する高い解釈可能性スコアを達成しつつ、監督者を欺くことができる。 我々は、緩和戦略を提案し、強固な理解と騙しに対する防御に対する批判的な必要性を強調した。

関連論文リスト

• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Interpreting GNN-based IDS Detections Using Provenance Graph Structural Features [15.256262257064982]
  ProVEXPLAINERは,解釈可能なサロゲートモデルを用いて,インスタンスレベルのセキュリティ対応の説明を提供するフレームワークである。 マルウェアとAPTデータセットでは、PROVEXPLAINERは29%/27%/25%高いフィディリティ+、精度とリコール、それぞれ12%低いフィディリティを達成している。
  論文  参考訳（メタデータ） (2023-06-01T17:36:24Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Explainable Verbal Deception Detection using Transformers [1.5104201344012347]
  本稿では,BERT(およびRoBERTa),マルチヘッドアテンション,コアテンション,トランスフォーマーの組み合わせを含む6つのディープラーニングモデルを提案し,評価する。 この結果から,我々のトランスを用いたモデルでは,自動偽造検出性能(精度+2.11%)が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-06T17:36:00Z)
• LAP: An Attention-Based Module for Concept Based Self-Interpretation and Knowledge Injection in Convolutional Neural Networks [2.8948274245812327]
  本稿では,自己解釈性を実現するため,新しい注意型プール層であるLAP(Local Attention Pooling)を提案する。 LAPはどんな畳み込みニューラルネットワークにも簡単にプラグインできる。 LAPは一般的なホワイトボックスの説明法よりも、人間の理解しやすく忠実なモデル解釈を提供する。
  論文  参考訳（メタデータ） (2022-01-27T21:10:20Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)
• Self-Supervised Discovering of Interpretable Features for Reinforcement Learning [40.52278913726904]
  深層強化学習のための自己教師付き解釈可能なフレームワークを提案する。 タスク関連情報を強調するための細かな注意マスクを作成するために、自己教師型解釈ネットワーク(SSINet)が使用される。 Atari 2600とDuckietownは、自動運転車のシミュレータ環境として難易度の高い環境である。
  論文  参考訳（メタデータ） (2020-03-16T08:26:17Z)
• Deceptive AI Explanations: Creation and Detection [3.197020142231916]
  我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。 実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。 被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
  論文  参考訳（メタデータ） (2020-01-21T16:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。