論文の概要: Beyond Static Benchmarks: Synthesizing Harmful Content via Persona-based Simulation for Robust Evaluation

• arxiv url: http://arxiv.org/abs/2604.17020v1
• Date: Sat, 18 Apr 2026 14:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.291674
• Title: Beyond Static Benchmarks: Synthesizing Harmful Content via Persona-based Simulation for Robust Evaluation
• Title（参考訳）: 静的ベンチマークを超えて:ロバスト評価のためのペルソナによるシミュレーションによる有害コンテンツを合成
• Authors: Huije Lee, Jisu Shin, Hoyun Song, Changgeon Ko, Jong C. Park,
• Abstract要約: 本稿では,ペルソナ誘導型大規模言語モデル(LLM)エージェントを利用した有害コンテンツを合成するフレームワークを提案する。 本手法は,2次元ユーザペルソナを,人口統計的アイデンティティとトピック的関心を状況的有害な戦略と統合することによって構築する。 ヒトとLDMをベースとした評価により,本フレームワークは高い有害発生率を達成できることを確認した。
• 参考スコア（独自算出の注目度）: 14.366084759097445
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Static benchmarks for harmful content detection face limitations in scalability and diversity, and may also be affected by contamination from web-scale pre-training corpora. To address these issues, we propose a framework for synthesizing harmful content, leveraging persona-guided large language model (LLM) agents. Our approach constructs two-dimensional user personas by integrating demographic identities and topical interests with situational harmful strategies, enabling the simulation of diverse and contextually grounded harmful interactions. We evaluate the framework along three dimensions: harmfulness, challenge level, and diversity. Both human and LLM-based evaluations confirm that our framework achieves a high harmful generation success rate. Experiments across multiple detection systems reveal that our synthetic scenarios are more challenging to detect than those in existing benchmarks. Furthermore, a multi-faceted analysis confirms that our approach achieves linguistic and topical diversity comparable to human-curated datasets, establishing our framework as an effective tool for robust stress-testing of harmful content detection systems.
• Abstract（参考訳）: 有害なコンテンツ検出のための静的ベンチマークは、スケーラビリティと多様性の制限に直面し、Webスケールの事前学習コーパスからの汚染にも影響される可能性がある。 これらの問題に対処するために,ペルソナ誘導型大規模言語モデル(LLM)エージェントを活用した有害コンテンツを合成するフレームワークを提案する。 本手法は,人口統計的アイデンティティと話題的関心を状況的有害な戦略と統合し,多様かつ文脈的に根ざした有害な相互作用のシミュレーションを可能にすることによって,2次元ユーザペルソナを構築する。 我々は、有害性、課題レベル、多様性の3つの側面に沿ってフレームワークを評価する。 ヒトとLDMをベースとした評価により,本フレームワークは高い有害発生率を達成できることを確認した。 複数の検出システムに対する実験により、我々の合成シナリオは既存のベンチマークよりも検出が難しいことが判明した。 さらに,多面的分析により,人間計算データセットに匹敵する言語的・話題的多様性が達成され,有害なコンテンツ検出システムのストレス-テストに有効なフレームワークが確立された。

関連論文リスト

• Adversarial Moral Stress Testing of Large Language Models [6.225703352031606]
  本稿では, 対人多ラウンド相互作用下での倫理的堅牢性を評価するためのストレスベース評価フレームワーク, AMSTを紹介する。 我々は,LLaMA-3-8B,GPT-4o,DeepSeek-v3を含む最先端LLMにおけるAMSTの評価を行った。
  論文  参考訳（メタデータ） (2026-04-01T16:34:20Z)
• DeceptionBench: A Comprehensive Benchmark for AI Deception Behaviors in Real-world Scenarios [57.327907850766785]
  現実的な現実のシナリオにまたがる騙しのキャラクタリゼーションは未解明のままである。 DeceptionBenchは、さまざまなドメインにまたがる認知傾向を体系的に評価する最初のベンチマークです。 本研究は,本質的な側面から,ユーザ満足度を優先する自己関心のエゴスティックな傾向を示すモデルや,サイコファンティックな行動を示すモデルについて検討する。 実世界のフィードバックダイナミクスのより現実的なシミュレーションを構築するために,持続的マルチターン相互作用ループを組み込んだ。
  論文  参考訳（メタデータ） (2025-10-17T10:14:26Z)
• Agent4FaceForgery: Multi-Agent LLM Framework for Realistic Face Forgery Detection [108.5042835056188]
  この作業では,2つの基本的な問題に対処するため,Agent4FaceForgeryを導入している。 人間の偽造の多様な意図と反復的なプロセスを捉える方法。 ソーシャルメディアの偽造に付随する複雑な、しばしば敵対的な、テキストと画像のインタラクションをモデル化する方法。
  論文  参考訳（メタデータ） (2025-09-16T01:05:01Z)
• Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge [1.1666234644810893]
  小さなモデルは安全性においてより大きなモデルよりも優れており、トレーニングとアーキテクチャがスケール以上の意味を持つ可能性があることを示唆している。 低リソース言語を使ったジェイルブレイク攻撃や拒否抑制が効果的であるなど、敵の誘惑に対して完全に堅牢なモデルはない。
  論文  参考訳（メタデータ） (2025-04-10T16:00:59Z)
• Benchmarking the Spatial Robustness of DNNs via Natural and Adversarial Localized Corruptions [49.546479320670464]
  本稿では,セグメンテーションモデルの空間的ロバスト性を評価するための特別な指標を紹介する。 本稿では,モデルロバスト性をより深く理解する手法として,地域対応型マルチアタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック分析を提案する。 その結果、モデルがこれらの2種類の脅威に異なる反応を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-02T11:37:39Z)
• Addressing Key Challenges of Adversarial Attacks and Defenses in the Tabular Domain: A Methodological Framework for Coherence and Consistency [25.830427564563422]
  CSAD(Class-Specific Anomaly Detection)は,新しい異常検出手法である。 CSADは, 広い良性分布ではなく, 予測されたクラス分布に対して, 対数サンプルを評価する。 本評価では, 異常検出率とSHAPに基づく評価を併用し, 対向検体品質のより包括的測定を行う。
  論文  参考訳（メタデータ） (2024-12-10T09:17:09Z)
• SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
  コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。 手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。 このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
  論文  参考訳（メタデータ） (2024-10-14T21:17:22Z)
• Towards Evaluating the Robustness of Visual State Space Models [63.14954591606638]
  視覚状態空間モデル(VSSM)は視覚知覚タスクにおいて顕著な性能を示した。 しかし、自然と敵対的な摂動の下での頑丈さは依然として重要な懸念事項である。 様々な摂動シナリオ下でのVSSMの頑健さを総合的に評価する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:44Z)
• Assessing biomedical knowledge robustness in large language models by query-efficient sampling attacks [0.6282171844772422]
  大規模言語モデル(LLM)におけるパラメトリックドメイン知識の深化は、現実世界のアプリケーションへの迅速な展開を加速させている。 近年、自然言語処理タスクの逆例として命名されたエンティティが発見され、事前訓練されたLLMの知識の堅牢性に対するそれらの潜在的な影響に関する疑問が提起されている。 バイオメディカル知識のロバスト性を評価するために,パワースケール距離重み付きサンプリングに基づく埋め込み空間攻撃を開発した。
  論文  参考訳（メタデータ） (2024-02-16T09:29:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。