論文の概要: XGUARD: A Graded Benchmark for Evaluating Safety Failures of Large Language Models on Extremist Content

• arxiv url: http://arxiv.org/abs/2506.00973v1
• Date: Sun, 01 Jun 2025 11:48:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.696121
• Title: XGUARD: A Graded Benchmark for Evaluating Safety Failures of Large Language Models on Extremist Content
• Title（参考訳）: XGUARD:極端コンテンツに基づく大規模言語モデルの安全性障害評価のための段階的ベンチマーク
• Abstract要約: 我々は,Large Language Models (LLMs) が生成する過激派コンテンツの重大さを評価するためのベンチマークおよび評価フレームワーク XGUARD を提案する。 XGUARDには、ソーシャルメディアやニュースなどの現実世界のデータから得られた3,840のレッド・チーム・プロンプトが含まれており、イデオロギー的なシナリオを幅広くカバーしている。 本フレームワークでは, モデル応答を5つの危険レベル(0～4)に分類し, 故障頻度と重大度の両方をより微妙に分析する。
• 参考スコア（独自算出の注目度）: 3.4303348430261202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) can generate content spanning ideological rhetoric to explicit instructions for violence. However, existing safety evaluations often rely on simplistic binary labels (safe and unsafe), overlooking the nuanced spectrum of risk these outputs pose. To address this, we present XGUARD, a benchmark and evaluation framework designed to assess the severity of extremist content generated by LLMs. XGUARD includes 3,840 red teaming prompts sourced from real world data such as social media and news, covering a broad range of ideologically charged scenarios. Our framework categorizes model responses into five danger levels (0 to 4), enabling a more nuanced analysis of both the frequency and severity of failures. We introduce the interpretable Attack Severity Curve (ASC) to visualize vulnerabilities and compare defense mechanisms across threat intensities. Using XGUARD, we evaluate six popular LLMs and two lightweight defense strategies, revealing key insights into current safety gaps and trade-offs between robustness and expressive freedom. Our work underscores the value of graded safety metrics for building trustworthy LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、暴力の明示的な指示に比例したイデオロギー的レトリックにまたがる内容を生成することができる。 しかし、既存の安全性評価は、しばしば単純なバイナリラベル(安全で安全でない)に依存し、これらの出力が引き起こすリスクの微妙なスペクトルを見渡す。 そこで本稿では,LLMが生成する過激派コンテンツの重大さを評価するためのベンチマークおよび評価フレームワークであるXGUARDを提案する。 XGUARDには、ソーシャルメディアやニュースなどの現実世界のデータから得られた3,840のレッド・チーム・プロンプトが含まれており、イデオロギー的なシナリオを幅広くカバーしている。 本フレームワークでは, モデル応答を5つの危険レベル(0～4)に分類し, 故障頻度と重大度の両方をより微妙に分析する。 本稿では、脆弱性を可視化し、脅威強度の防衛機構を比較するために、解釈可能なアタック重大曲線(ASC)を導入する。 我々は,XGUARDを用いて,6つのLLMと2つの軽量防衛戦略を評価し,現状の安全性のギャップと,堅牢性と表現の自由のトレードオフに関する重要な知見を明らかにした。 我々の研究は、信頼性の高いLCMを構築するための格付けされた安全性指標の価値を裏付けるものである。

関連論文リスト

• A Red Teaming Framework for Large Language Models: A Case Study on Faithfulness Evaluation [0.0]
  大規模言語モデル(LLM)の脆弱性を体系的に発見するフレームワークを提案する。 我々のアプローチでは、ターゲット、攻撃者、陪審員モデルからなる新しいマルチロールアーキテクチャを採用している。 爆発的な対抗策によって攻撃の成功率は7.9%まで増加し、信頼性の弱点が明らかになった。
  論文  参考訳（メタデータ） (2026-06-24T07:00:53Z)
• Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
  提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。 BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。 そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:48:23Z)
• Quantifying LLM Safety Degradation Under Repeated Attacks Using Survival Analysis [0.0]
  大規模言語モデル(LLM)は、広範囲のアプリケーションにデプロイされる傾向にあるが、敵のジェイルブレイク攻撃には弱いままである。 本研究は, LLM脱獄の脆弱性を特徴付けるために生存分析技術を適用した新しい評価フレームワークを提案する。 提案手法は, リスク関数, 生存曲線, 攻撃の危険因子を推定し, 生存率としてジェイルブレイクをモデル化する。
  論文  参考訳（メタデータ） (2026-05-13T01:26:06Z)
• SoK: Robustness in Large Language Models against Jailbreak Attacks [18.3385249246391]
  大規模言語モデル(LLM)は目覚ましい成功を収めたが、ジェイルブレイク攻撃の影響を受けやすいままである。 このような攻撃は、現実世界のリスク、安全を損なうこと、信頼を損なうこと、高レベルのアプリケーションにおける規制の遵守を引き起こす。 本稿では,これらの手法を総合的に評価するための総合的多次元フレームワークであるSecurity Cubeを紹介する。
  論文  参考訳（メタデータ） (2026-05-06T15:53:17Z)
• SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
  LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。 私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。 我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
  論文  参考訳（メタデータ） (2025-11-19T06:46:33Z)
• Safety and Security Analysis of Large Language Models: Benchmarking Risk Profile and Harm Potential [0.1631115063641726]
  本研究は,9大言語モデル(LLM)の実証分析とリスクプロファイルを提供する。 RSIはアジャイルでスケーラブルな評価スコアであり、セキュリティ姿勢を定量化し比較し、LLMのリスクプロファイルを作成する。 この研究は、テストされたLLMの安全性フィルタの広範な脆弱性を発見し、より強力なアライメント、責任あるデプロイメントプラクティス、モデルガバナンスの必要性を強調している。
  論文  参考訳（メタデータ） (2025-09-12T19:34:10Z)
• ROSE: Toward Reality-Oriented Safety Evaluation of Large Language Models [60.28667314609623]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいてブラックボックスコンポーネントとしてますます多くデプロイされている。 我々は,多目的強化学習を用いて敵のLDMを微調整する新しいフレームワークであるReal-Oriented Safety Evaluation (ROSE)を提案する。
  論文  参考訳（メタデータ） (2025-06-17T10:55:17Z)
• ReGA: Representation-Guided Abstraction for Model-based Safeguarding of LLMs [0.9285458070502282]
  大きな言語モデル(LLM)は様々なタスクで大きな成功を収めていますが、安全性とセキュリティに関する懸念が生まれています。 機械学習モデルを解析し、監視するために、モデルに基づく分析は、ステートフルなディープニューラルネットワークにおいて顕著な可能性を示している。 本稿では,表現誘導抽象化を用いたモデルベース分析フレームワークReGAを提案し,LLMを有害なプロンプトや世代に対して保護する。
  論文  参考訳（メタデータ） (2025-06-02T15:17:38Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Characterizing and Evaluating the Reliability of LLMs against Jailbreak Attacks [23.782566331783134]
  我々は3つのカテゴリ、61の特定の有害なカテゴリからの1525の質問、13の人気のあるLCMの10の最先端のジェイルブレイク戦略に焦点を当てた。 攻撃成功率(ASR)、毒性スコア(Toxicity Score)、Fluency(Fluency)、Token Length(Token Length)、文法エラー(Grammatical Errors)などの多次元指標を用いて、ジェイルブレイク下でのLLMのアウトプットを徹底的に評価する。 モデル,攻撃戦略,有害コンテンツの種類,および評価指標間の相関関係について検討し,多面的評価フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2024-08-18T01:58:03Z)
• garak: A Framework for Security Probing Large Language Models [16.305837349514505]
  garakは、ターゲットとするLarge Language Models(LLM)の脆弱性を発見し、特定するために使用できるフレームワークである。 フレームワークのアウトプットは、ターゲットモデルの弱点を記述し、ユニークなコンテキストで脆弱性を構成するものについての情報的な議論に寄与する。
  論文  参考訳（メタデータ） (2024-06-16T18:18:43Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。