Fugu-MT 論文翻訳(概要): RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration

論文の概要: RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration

arxiv url: http://arxiv.org/abs/2509.25271v1
Date: Sun, 28 Sep 2025 09:35:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-01 17:09:04.223502
Title: RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration
Title（参考訳）: RADAR:役割特化コラボレーションによるLCMの安全性評価のためのリスク対応動的マルチエージェントフレームワーク
Authors: Xiuyuan Chen, Jian Zhao, Yuchen Yuan, Tianle Zhang, Huilin Zhou, Zheng Zhu, Ping Hu, Linghe Kong, Chi Zhang, Weiran Huang, Xuelong Li,
Abstract要約: 大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。リスク概念空間を再構築する理論的枠組みを導入する。マルチエージェント協調評価フレームワークRADARを提案する。
参考スコア（独自算出の注目度）: 81.38705556267917
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing safety evaluation methods for large language models (LLMs) suffer from inherent limitations, including evaluator bias and detection failures arising from model homogeneity, which collectively undermine the robustness of risk evaluation processes. This paper seeks to re-examine the risk evaluation paradigm by introducing a theoretical framework that reconstructs the underlying risk concept space. Specifically, we decompose the latent risk concept space into three mutually exclusive subspaces: the explicit risk subspace (encompassing direct violations of safety guidelines), the implicit risk subspace (capturing potential malicious content that requires contextual reasoning for identification), and the non-risk subspace. Furthermore, we propose RADAR, a multi-agent collaborative evaluation framework that leverages multi-round debate mechanisms through four specialized complementary roles and employs dynamic update mechanisms to achieve self-evolution of risk concept distributions. This approach enables comprehensive coverage of both explicit and implicit risks while mitigating evaluator bias. To validate the effectiveness of our framework, we construct an evaluation dataset comprising 800 challenging cases. Extensive experiments on our challenging testset and public benchmarks demonstrate that RADAR significantly outperforms baseline evaluation methods across multiple dimensions, including accuracy, stability, and self-evaluation risk sensitivity. Notably, RADAR achieves a 28.87% improvement in risk identification accuracy compared to the strongest baseline evaluation method.
Abstract（参考訳）: 大規模言語モデル(LLM)の既存の安全性評価手法は、モデル均質性に起因する評価器バイアスや検出失敗など固有の制約に悩まされており、リスク評価プロセスの堅牢性を損なう。本稿では,リスク概念空間を再構築する理論的枠組みを導入することにより,リスク評価パラダイムを再検討する。具体的には、潜在リスク概念空間を、明示的なリスク部分空間(安全ガイドラインの直接的な違反を回避)、暗黙的なリスク部分空間(識別のために文脈的推論を必要とする潜在的悪意のあるコンテンツをキャプチャ)、非リスク部分空間の3つの排他的部分空間に分解する。さらに,4つの特別な補完的役割を通じて,複数ラウンドの議論機構を活用するマルチエージェント協調評価フレームワークであるRADARを提案し,リスク概念分布の自己進化を実現するために動的更新機構を用いる。このアプローチは、明示的リスクと暗黙的リスクの両方を包括的にカバーし、評価者のバイアスを軽減する。本フレームワークの有効性を検証するため,800件の課題からなる評価データセットを構築した。我々の挑戦的なテストセットと公開ベンチマークに関する大規模な実験は、RADARが精度、安定性、自己評価リスク感度など、複数の次元にわたるベースライン評価手法を著しく上回っていることを示している。特に、RADARは最強基準評価法と比較して、リスク識別精度が28.87%向上している。

論文の概要: RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration

関連論文リスト