論文の概要: Stress Testing Concept Erasure with Large Language Model Agents

• arxiv url: http://arxiv.org/abs/2607.17890v1
• Date: Mon, 20 Jul 2026 12:38:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.616503
• Title: Stress Testing Concept Erasure with Large Language Model Agents
• Title（参考訳）: 大規模言語モデルエージェントを用いたストレステストの概念消去
• Abstract要約: 概念消去は、訓練された生成モデルから意味論的概念を取り除くことを目的としている。 既存の評価手法は、通常、事前に定義され静的である。 本稿では,概念消去のためのストレステストエージェント(STACE)を提案する。
• 参考スコア（独自算出の注目度）: 17.00180635133238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept erasure aims to remove semantic concepts from a trained generative model and is increasingly important for responsible AI deployment. However, verifying whether a model has robustly removed targeted concepts remains a critical challenge. Existing evaluation methods are typically pre-defined and static, failing to expose vulnerabilities under diverse natural-language probes and challenging conditions. Moreover, manually designed evaluation strategies can be biased and difficult to scale. We posit that concept erasure evaluation is best formulated as an adaptive hypothesis search, operationalised by agents that iteratively propose, critique, and verify tests to systematically expand coverage of failure modes. To this end, we propose Stress Testing Agents for Concept Erasure (STACE), a framework that autonomously stress-tests concept-erased models using multiple Large Language Model (LLM) agents, by iteratively generating and verifying stress-testing hypotheses grounded by external knowledge. We also introduce a suite of metrics for assessing the performance and efficiency of LLM-agent-powered stress-testing frameworks. Our extensive experiments show that STACE outperforms five LLM-based evaluation baselines on four concept categories. Further analysis across two T2I models, six concept erasure approaches, and various erasure strengths show that STACE is robust for different settings. We also show that STACE can be adapted beyond concept erasure evaluation to other problem domains, such as LLM jailbreaking. Our code is available anonymously.
• Abstract（参考訳）: 概念消去は、訓練された生成モデルから意味論的概念を取り除くことを目的としており、AIデプロイメントの責任を負う上でますます重要になっている。 しかし、モデルがターゲット概念をしっかりと取り除いたかどうかを検証することは、依然として重要な課題である。 既存の評価手法は、通常、事前に定義され静的であり、様々な自然言語プローブと挑戦的な条件の下で脆弱性を公開することができない。 さらに、手動で設計した評価戦略はバイアスがあり、スケールが困難である。 本稿では, 適応仮説探索として, エージェントが反復的に提案し, 批判し, 検証して, 障害モードの包括範囲を体系的に拡大する手法として, 概念消去評価が最適であると仮定する。 この目的のために,複数の大規模言語モデル(LLM)エージェントを用いて,外部知識に基づくストレステスト仮説を反復的に生成し検証することにより,概念消去のためのストレステストエージェント(STACE)を提案する。 また、LLMエージェントを用いたストレステストフレームワークの性能と効率を評価するための一連の指標についても紹介する。 広範囲な実験により,STACEは4つの概念カテゴリにおいて,LLMに基づく評価基準を5つ上回っていることがわかった。 2つのT2Iモデル、6つの概念消去アプローチ、および様々な消去強度のさらなる分析により、STACEは異なる設定に対して堅牢であることが示された。 また,STACEは概念消去評価を超えて,LLM脱獄などの他の問題領域に適用可能であることを示す。 私たちのコードは匿名で利用可能です。

関連論文リスト

• AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era [55.37558486468993]
  AgentIdeaBenchは、静的観測とアクティブ探索という2つの一致した条件下で科学的思考を評価するベンチマークである。 5つの分野にまたがる40の高密度サブフィールドにおける33個のLDMの静的アクティブ評価を一致させた。 アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
  論文  参考訳（メタデータ） (2026-09-07T15:19:13Z)
• MANTA: Multi-turn Assessment for Nonhuman Thinking & Alignment [0.1452394725421793]
  MANTAは、Inspect AIプラットフォーム上に構築された動的マルチターン評価フレームワークである。 Clude-sonnet-4-20250514およびopenai/gpt-4oの評価を行った。 また, LLM-as-judge 評価において, 体系的フォーマットバイアスを示す制御された4要素法であるSTYLEJUDGEを提案する。
  論文  参考訳（メタデータ） (2026-04-18T19:51:32Z)
• Adversarial Moral Stress Testing of Large Language Models [6.225703352031606]
  本稿では, 対人多ラウンド相互作用下での倫理的堅牢性を評価するためのストレスベース評価フレームワーク, AMSTを紹介する。 我々は,LLaMA-3-8B,GPT-4o,DeepSeek-v3を含む最先端LLMにおけるAMSTの評価を行った。
  論文  参考訳（メタデータ） (2026-04-01T16:34:20Z)
• CODE: A Contradiction-Based Deliberation Extension Framework for Overthinking Attacks on Retrieval-Augmented Generation [43.85448261466922]
  我々はContradiction-Based Deliberation Extension (CODE) というエンドツーエンド攻撃フレームワークを提案する。 CODEは、知識ベースに注入される中毒サンプルを構築するためのマルチエージェントアーキテクチャを開発している。 実験の結果、CODEはタスク性能を劣化させることなく5.32x-24.72倍のトークン消費を発生させることが示された。
  論文  参考訳（メタデータ） (2026-01-19T14:52:31Z)
• Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models [57.33350664910483]
  資源制約と非対称な情報設定を備えた動的・対角的評価環境であるSquid Gameを紹介する。 我々は,Squid Game 上で50以上の LLM を評価し,動的対向シナリオにおける一般 LLM の行動評価研究を最大規模で行った。
  論文  参考訳（メタデータ） (2025-11-12T06:06:29Z)
• DeceptionBench: A Comprehensive Benchmark for AI Deception Behaviors in Real-world Scenarios [57.327907850766785]
  現実的な現実のシナリオにまたがる騙しのキャラクタリゼーションは未解明のままである。 DeceptionBenchは、さまざまなドメインにまたがる認知傾向を体系的に評価する最初のベンチマークです。 本研究は,本質的な側面から,ユーザ満足度を優先する自己関心のエゴスティックな傾向を示すモデルや,サイコファンティックな行動を示すモデルについて検討する。 実世界のフィードバックダイナミクスのより現実的なシミュレーションを構築するために,持続的マルチターン相互作用ループを組み込んだ。
  論文  参考訳（メタデータ） (2025-10-17T10:14:26Z)
• Erasing Concepts, Steering Generations: A Comprehensive Survey of Concept Suppression [10.950528923845955]
  機密性、著作権、有害な画像の無制御再生は、重大な倫理的、法的、安全上の課題を引き起こす。 概念消去パラダイムは有望な方向として現れており、生成モデルから特定の意味概念を選択的に除去することができる。 この調査は、研究者がより安全で倫理的に整合した生成モデルへと導くことを目的としている。
  論文  参考訳（メタデータ） (2025-05-26T01:24:34Z)
• Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning [88.68573198200698]
  本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。 我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。 評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
  論文  参考訳（メタデータ） (2024-12-12T21:29:00Z)
• Erasing Conceptual Knowledge from Language Models [24.63143961814566]
  概念レベルのアンラーニングに対する原則的アプローチである言語記憶の消去(ELM)を導入する。 ELMは、モデル自身の内省的分類能力によって定義される分布を一致させることで機能する。 ELMのバイオセキュリティ、サイバーセキュリティ、および文学ドメイン消去タスクに対する効果を実証する。
  論文  参考訳（メタデータ） (2024-10-03T17:59:30Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• A Comprehensive Evaluation Framework for Deep Model Robustness [44.20580847861682]
  ディープニューラルネットワーク(DNN)は、幅広いアプリケーションで顕著なパフォーマンスを達成しています。 彼らは敵の防御を動機付ける敵の例に弱い。 本稿では,包括的で厳密で一貫性のある評価指標を含むモデル評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-24T01:04:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。