論文の概要: When Debate Amplifies Risk: Social-Bias Vulnerabilities in Multi-Agent Safety Deliberation
- arxiv url: http://arxiv.org/abs/2611.04289v1
- Date: Tue, 03 Nov 2026 04:16:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 00:30:56.869325
- Title: When Debate Amplifies Risk: Social-Bias Vulnerabilities in Multi-Agent Safety Deliberation
- Title(参考訳): ディベートがリスクを増幅する時--マルチエージェント・セーフティ・ディベーションにおける社会的バイアスの脆弱性
- Abstract要約: 議論の社会的構造が潜伏するWebの安全性リスクをパラドックス的に増幅するかどうかを検討する。
本稿では,エビデンスファースト・プレミッション,ソーシャル・ミータッタ・マスキング,一貫性付き仲裁を一体化した推論時監査フレームワークであるR RiskTrace-Debiasを提案する。
- 参考スコア(独自算出の注目度): 7.745188040127101
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented Web applications increasingly employ multi-agent debate (MAD) to aggregate conflicting, noisy, and heterogeneous information, yet deliberation is fundamentally a social process susceptible to interpersonal dynamics. When retrieved Web sources contain latent hazards alongside safe factual content, social biases such as conformity pressure and authority deference can override evidence-grounded safety boundaries. In this work, we investigate whether the social structure of deliberation can paradoxically amplify latent Web safety risks. We introduce SafeConflict-Bias, a controlled counterfactual diagnostic protocol spanning six core Web risk categories, which holds queries and retrieved evidence strictly invariant while isolating conversational majority sway, authority cues, and confidence asymmetry. Empirical evaluation across diverse proprietary and open-source backbones reveals that while isolated models reliably reject unsafe guidance, standard MAD catastrophically capitulates to social pressure---surging unsafe adoption from 0.0\% up to 100.0\% and systematically silencing safe minority evidence. To resolve this systemic fragility without retraining or debate regeneration, we propose RiskTrace-Debias, an inference-time auditing framework uniting evidence-first precommitment, social-metadata masking, and consistency-gated arbitration. RiskTrace-Debias suppresses worst-case unsafe adoption to $\le 2.0\%$ across all architectures without inducing over-refusal, while generating verifiable provenance traces to audit interpersonal manipulation in Web deliberation.
- Abstract(参考訳): Retrieval-augmented Web アプリケーションは、対立、騒々しい、異質な情報を集約するために、マルチエージェントの議論 (MAD) をますます採用している。
検索されたWebソースが、安全な事実コンテンツと共に潜伏する危険性を含んでいる場合、適合性圧力や権限委譲のような社会的偏見は、証拠を根拠とした安全境界を覆すことができる。
本研究では,議論の社会的構造が潜伏するWebの安全性リスクをパラドックス的に増幅するかどうかを検討する。
SafeConflict-Biasは6つの中核Webリスクカテゴリにまたがる制御された対実的診断プロトコルで、クエリと検索された証拠を厳密に不変に保持し、会話の多数決、権威の手がかり、信頼の非対称性を分離する。
多様なプロプライエタリなオープンソースのバックボーンに対する実証的な評価は、孤立したモデルは安全でないガイダンスを確実に拒否するが、標準的なMADは破滅的に社会的圧力に屈服し、安全でない採用を0.0 %から100.0 %まで増加させ、安全な少数派証拠を体系的にサイレンシングしていることを示している。
本研究は,リスクトラス・デビアス(RassTrace-Debias)という,エビデンスファースト・プレミッション,ソーシャル・メタメタマスキング,一貫性のある仲裁を一体化した推論時監査フレームワークを提案する。
RiskTrace-Debiasは、最悪の場合の安全でない適用を、オーバーリフレクションを誘発することなく、すべてのアーキテクチャで$\le 2.0\%$に抑える。
関連論文リスト
- Adversarial Attacks for Good: A Survey of Proactive Protection across the Visual Content Lifecycle [65.6642776933861]
この介入点付近で成長した保護パラダイムについて検討する。
ほとんどの保護は、主に静的あるいは弱い適応的な敵に対して検証されている。
我々は、堅牢で構成可能で、デプロイ可能な所有者側の保護のために、クロスステージ対策とオープンな問題を統合することで、閉鎖する。
論文 参考訳(メタデータ) (2026-08-05T00:46:50Z) - Epistemic Norms for AI Safety and Alignment Research [0.989901717499058]
2つの領域は2つの解析的に独立な軸に沿って異なると主張する。
sc ECAISAは、あらゆるAIシステムが安全であることを証明していない。
論文 参考訳(メタデータ) (2026-07-27T10:22:46Z) - The safety failures we are not instrumenting: a perspective on hidden safety-critical challenges in modern AI systems [26.594498540217568]
デプロイされたシステムでは、最も連続的な障害の多くは、目覚ましいよりも静かで、単一のアウトプットに局所化するのではなく、コンポーネントに分散し、障害として認識される前にエコシステムによって正規化される。
現代のAIシステムにおける中心的な安全性の課題は、モデルが有害な応答を放出するかどうかだけではなく、より広範な社会技術システムが、エラーが可視で、競合可能で、封じ込め可能で、回復可能な状態を維持しているかどうかである。
論文 参考訳(メタデータ) (2026-07-21T17:02:37Z) - X-rated Compliance Theater: An Empirical Evaluation of European Age Verification Systems in Adult Websites [0.8717253904965374]
成人Webサイトが展開する年齢検証メカニズムの探索的セキュリティ評価を初めて実施する。
我々は、現在のデプロイメントが、機密性の高いID関連データに依存するプライバシーリスクと相反するセキュリティ保証を提供するかどうかを検討する。
年齢検証の展開によって生じるセキュリティとプライバシのリスクを軽減するための具体的なガイドラインと設計指針を導出する。
論文 参考訳(メタデータ) (2026-06-07T15:19:19Z) - Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents [2.905751301655124]
本稿では,LLMエージェントの検索による安全性劣化を診断するフレームワークであるAgentREVEALを紹介する。
警告を含むページやリスク宣言を含むページなど,反対あるいは安全指向のソースであっても,有害なコンプライアンスを平均25%増加させることができることを示す。
関連性も検索に役立つので、これらの結果は検索可能なエージェントの安全利用トレードオフを露呈する。
論文 参考訳(メタデータ) (2026-05-28T01:23:48Z) - Enhancing Agent Safety Judgment: Controlled Benchmark Rewriting and Analogical Reasoning for Deceptive Out-of-Distribution Scenarios [0.2578242050187029]
ROMEは、既知の安全でないトラジェクトリを偽評価インスタンスに書き換える、制御されたベンチマーク構築パイプラインである。
ARISEは、外部アナログベースからReActスタイルのアナログ安全軌道を抽出し、それらを構造化推論例として注入する検索誘導推論時間拡張である。
論文 参考訳(メタデータ) (2026-05-05T00:21:00Z) - Information Retrieval Induced Safety Degradation in AI Agents [52.15553901577888]
本研究では,検索アクセスの拡大がモデル信頼性,バイアス伝搬,有害コンテンツ生成に与える影響について検討した。
整列 LLM 上に構築された検索可能なエージェントは、検索なしでの無検閲モデルよりも安全でない振る舞いをすることが多い。
これらの発見は、検索可能でますます自律的なAIシステムの公正性と信頼性を確保するための堅牢な緩和戦略の必要性を浮き彫りにしている。
論文 参考訳(メタデータ) (2025-05-20T11:21:40Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳(メタデータ) (2025-02-19T05:58:52Z) - Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。
この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。
以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
論文 参考訳(メタデータ) (2024-06-21T16:14:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。