論文の概要: EvoHarmBench: Breaking Content Moderation with Iterative Human-Like Evasion

• arxiv url: http://arxiv.org/abs/2608.27844v1
• Date: Fri, 28 Aug 2026 02:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.183183
• Title: EvoHarmBench: Breaking Content Moderation with Iterative Human-Like Evasion
• Title（参考訳）: EvoHarmBench: 反復的人間的侵入によるコンテンツモデレーションの破壊
• Abstract要約: 有害なコンテンツ検出の既存の評価は、静的ベンチマークに大きく依存している。 EvoHarmBenchは、コンテンツモデレーションシステムのための最初の動的敵評価フレームワークである。
• 参考スコア（独自算出の注目度）: 22.626458558828475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing evaluations of harmful content detection rely predominantly on static benchmarks, which struggle to reflect the interactive adversarial ecosystem of real-world content platforms where users continuously revise their expressions in response to moderation feedback. This mismatch creates a significant performance gap between offline benchmark scores and online deployment effectiveness. To the best of our knowledge, we present EvoHarmBench, the first dynamic adversarial evaluation framework for content moderation systems. The framework employs an iterative optimization loop that evolves evasion strategies at the semantic-cluster level, while simultaneously optimizing for evasion success and human readability. We systematically evaluate LLM-based defense models which are widely used in real world moderation systems. The evaluation covers 229 semantic sub-clusters across five violation categories, derived from 5,002 real-world adversarial samples collected from content platforms. Our experiments reveal substantial vulnerabilities even in leading commercial systems: after twelve optimization iterations, the attack success rate under readability constraints reaches 80.3% within SOTA LLM moderators. We will release the full benchmark data, evaluation framework, and code to encourage a shift from static benchmarking toward dynamic adversarial evaluation in content safety research.
• Abstract（参考訳）: 既存の有害なコンテンツ検出の評価は静的なベンチマークに大きく依存しており、モデレーションフィードバックに応じてユーザーが連続的に表現を更新する現実世界のコンテンツプラットフォームにおける対話的敵対エコシステムの反映に苦慮している。 このミスマッチは、オフラインベンチマークスコアとオンラインデプロイメントの有効性の間に大きなパフォーマンスギャップを生じさせる。 私たちの知る限り、コンテンツモデレーションシステムのための最初の動的敵評価フレームワークであるEvoHarmBenchを紹介します。 このフレームワークは、セマンティッククラスタレベルでの回避戦略を進化させる反復最適化ループを採用し、同時に回避成功と人間の可読性を最適化する。 実世界のモデレーションシステムで広く利用されているLDMベースの防衛モデルを体系的に評価する。 この評価は、コンテンツプラットフォームから収集された5,002の現実世界の敵対的サンプルから得られた、5つの違反カテゴリにわたる229のセマンティックサブクラスタをカバーする。 12回の最適化を繰り返した後、可読性制約下での攻撃成功率は、SOTA LLMモデレータ内で80.3%に達する。 我々は、静的なベンチマークから、コンテンツ安全性研究における動的敵評価への移行を促進するために、全ベンチマークデータ、評価フレームワーク、コードをリリースする。

関連論文リスト

• Co-Evolving LLM Evaluators and Policies via DynamicRubric [67.2962847914162]
  政策によって引き起こされたサンプルに対する評価者フィードバックによるポストトレーニングは、大きな言語モデルを改善するための主要なメカニズムとなる。 反応条件付き評価器であるDynamicRubricを提案する。 8Bバックボーンを用いた実験では、DynamicRubricは評価器のパフォーマンスを改善し、ベースラインよりも強力なポリシー管理を提供する。
  論文  参考訳（メタデータ） (2026-07-22T12:35:40Z)
• DeepBias: Adaptive In-depth Probing of Social Biases in LVLMs [71.85279836937578]
  我々は、注意深く設計されたエージェントを用いたLVLMにおける社会バイアスの奥行き探索のための適応的フレームワークDeepBiasを紹介する。 私たちは、私たちのフレームワークを使ってDeepBiasBenchという名のベンチマークを構築します。5つの異なる最先端のLVLMをアンカーとして使用することで、このベンチマークはアーキテクチャ間で共有される脆弱性をキャプチャします。
  論文  参考訳（メタデータ） (2026-07-13T08:19:09Z)
• Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
  大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。 これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。 実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
  論文  参考訳（メタデータ） (2026-06-11T14:12:43Z)
• Metis: Learning to Jailbreak LLMs via Self-Evolving Metacognitive Policy Optimization [51.11398557420066]
  我々は、推論時ポリシー最適化としてジェイルブレイクを改定するフレームワークであるMetisを紹介する。 メティスは比較手法の中でも89.2%で最強のアタック成功率(ASR)を達成している。 冗長な探索を最適化に置き換えることで、Metisはトークンコストを平均8.2倍、最大11.4倍に削減する。
  論文  参考訳（メタデータ） (2026-05-11T06:45:00Z)
• Beyond Static Benchmarks: Synthesizing Harmful Content via Persona-based Simulation for Robust Evaluation [14.366084759097445]
  本稿では,ペルソナ誘導型大規模言語モデル(LLM)エージェントを利用した有害コンテンツを合成するフレームワークを提案する。 本手法は,2次元ユーザペルソナを,人口統計的アイデンティティとトピック的関心を状況的有害な戦略と統合することによって構築する。 ヒトとLDMをベースとした評価により,本フレームワークは高い有害発生率を達成できることを確認した。
  論文  参考訳（メタデータ） (2026-04-18T14:58:02Z)
• FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
  時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。 レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。 我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
  論文  参考訳（メタデータ） (2026-04-14T17:04:25Z)
• Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models [57.33350664910483]
  資源制約と非対称な情報設定を備えた動的・対角的評価環境であるSquid Gameを紹介する。 我々は,Squid Game 上で50以上の LLM を評価し,動的対向シナリオにおける一般 LLM の行動評価研究を最大規模で行った。
  論文  参考訳（メタデータ） (2025-11-12T06:06:29Z)
• CPA-RAG:Covert Poisoning Attacks on Retrieval-Augmented Generation in Large Language Models [15.349703228157479]
  Retrieval-Augmented Generation (RAG)は、外部知識を取り入れた大規模言語モデル(LLM)を強化する。 既存のRAGシステムに対する中毒法には、一般化の欠如や、敵のテキストにおける流布の欠如など、制限がある。 CPA-RAGは,検索プロセスを操作することで,対象の回答を誘導するクエリ関連テキストを生成するブラックボックスの対向フレームワークである。
  論文  参考訳（メタデータ） (2025-05-26T11:48:32Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• The Vulnerability of Language Model Benchmarks: Do They Accurately Reflect True LLM Performance? [1.3810901729134184]
  大きな言語モデル(LLM)は、真の言語理解と適応性を示すのに失敗しながら、標準化されたテストで優れている。 NLP評価フレームワークの系統的解析により,評価スペクトルにまたがる広範囲にわたる脆弱性が明らかになった。 我々は、操作に抵抗し、データの汚染を最小限に抑え、ドメイン固有のタスクを評価する新しい評価方法の土台を築いた。
  論文  参考訳（メタデータ） (2024-12-02T20:49:21Z)
• FreeEval: A Modular Framework for Trustworthy and Efficient Evaluation of Large Language Models [36.273451767886726]
  FreeEvalは、大規模言語モデルの信頼性と効率的な自動評価を可能にするために設計された、モジュール化されたスケーラブルなフレームワークである。 FreeEvalの統一された抽象化は、統合を単純化し、多様な評価方法論の透明性を改善します。 このフレームワークは、人間の評価やデータ汚染検出などのメタ評価技術を統合し、動的評価モジュールとともに、評価結果の公平性を高める。
  論文  参考訳（メタデータ） (2024-04-09T04:17:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。