論文の概要: TeleAI-Safety: A comprehensive LLM jailbreaking benchmark towards attacks, defenses, and evaluations

• arxiv url: http://arxiv.org/abs/2512.05485v2
• Date: Mon, 08 Dec 2025 06:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 15:54:52.382629
• Title: TeleAI-Safety: A comprehensive LLM jailbreaking benchmark towards attacks, defenses, and evaluations
• Title（参考訳）: TeleAI-Safety: 攻撃、防衛、評価に向けた総合的LLMジェイルブレイクベンチマーク
• Authors: Xiuyuan Chen, Jian Zhao, Yuxiang He, Yuan Xun, Xinwei Liu, Yanshu Li, Huilin Zhou, Wei Cai, Ziyan Shi, Yuchen Yuan, Tianle Zhang, Chi Zhang, Xuelong Li,
• Abstract要約: 既存の安全性評価ベンチマークとフレームワークは、コアコンポーネントのアンバランスな統合によって制限されることが多い。 本稿では,モジュール型かつ再現可能なフレームワークであるTeleAI-Safetyと,厳密な安全性評価のための体系的なベンチマークを提案する。 12の異なるリスクカテゴリにまたがる342の攻撃コーパスによって、TeleAI-Safetyベンチマークは14のターゲットモデルに対して広範な評価を行う。
• 参考スコア（独自算出の注目度）: 46.98103424349245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the deployment of large language models (LLMs) in high-value industries continues to expand, the systematic assessment of their safety against jailbreak and prompt-based attacks remains insufficient. Existing safety evaluation benchmarks and frameworks are often limited by an imbalanced integration of core components (attack, defense, and evaluation methods) and an isolation between flexible evaluation frameworks and standardized benchmarking capabilities. These limitations hinder reliable cross-study comparisons and create unnecessary overhead for comprehensive risk assessment. To address these gaps, we present TeleAI-Safety, a modular and reproducible framework coupled with a systematic benchmark for rigorous LLM safety evaluation. Our framework integrates a broad collection of 19 attack methods (including one self-developed method), 29 defense methods, and 19 evaluation methods (including one self-developed method). With a curated attack corpus of 342 samples spanning 12 distinct risk categories, the TeleAI-Safety benchmark conducts extensive evaluations across 14 target models. The results reveal systematic vulnerabilities and model-specific failure cases, highlighting critical trade-offs between safety and utility, and identifying potential defense patterns for future optimization. In practical scenarios, TeleAI-Safety can be flexibly adjusted with customized attack, defense, and evaluation combinations to meet specific demands. We release our complete code and evaluation results to facilitate reproducible research and establish unified safety baselines.
• Abstract（参考訳）: 高価値産業における大規模言語モデル(LLM)の展開は拡大を続けているが、脱獄や即時攻撃に対する安全性の体系的評価は依然として不十分である。 既存の安全性評価ベンチマークとフレームワークは、コアコンポーネント(攻撃、防御、評価方法)の不均衡な統合と、フレキシブルな評価フレームワークと標準化されたベンチマーク機能の分離によって制限されることが多い。 これらの制限は、信頼性の高いクロススタディ比較を妨げ、包括的なリスク評価のための不要なオーバーヘッドを生み出します。 これらのギャップに対処するため,モジュール型かつ再現可能なフレームワークであるTeleAI-Safetyと,厳密なLLM安全性評価のための体系的ベンチマークを併用した。 本フレームワークは,1つの自己開発方法を含む19の攻撃方法,29の防衛方法,19の自己開発方法を含む19の評価手法を幅広く統合する。 12の異なるリスクカテゴリにまたがる342の攻撃コーパスによって、TeleAI-Safetyベンチマークは14のターゲットモデルに対して広範な評価を行う。 結果は、系統的な脆弱性とモデル固有の障害ケースを明らかにし、安全性とユーティリティの間の重要なトレードオフを強調し、将来の最適化のための潜在的な防御パターンを特定します。 実際のシナリオでは、TeleAI-Safetyは、特定の要求を満たすために、カスタマイズされた攻撃、防御、評価の組み合わせで柔軟に調整できる。 我々は、再現可能な研究を容易にし、統一された安全基準を確立するために、完全なコードと評価結果をリリースする。

関連論文リスト

• SoK: Taxonomy and Evaluation of Prompt Security in Large Language Models [17.94525181892254]
  大規模言語モデル(LLM)は、様々な分野にまたがるサービスによって、現実世界のアプリケーションにとって急速に不可欠なものになっている。 特にジェイルブレイクのプロンプトによって、モデルのアライメントを回避し、有害なアウトプットを誘導できる。 定義、脅威モデル、評価基準は様々であり、体系的な進歩と公正な比較を妨げる。 我々の研究は断片的な研究を統一し、将来の研究のための厳格な基盤を提供し、高度展開に適した堅牢で信頼性の高いLCMの開発を支援します。
  論文  参考訳（メタデータ） (2025-10-17T09:38:54Z)
• PandaGuard: Systematic Evaluation of LLM Safety against Jailbreaking Attacks [7.252454104194306]
  大きな言語モデル(LLM)は目覚ましい能力を達成したが、ジェイルブレイクとして知られる敵のプロンプトに弱いままである。 LLMの安全性研究への取り組みが増えているにもかかわらず、既存の評価はしばしば断片化され、単独の攻撃や防御技術に焦点が当てられている。 PandaGuardはLLMジェイルブレイクの安全性を攻撃者、ディフェンダー、および審査員で構成されるマルチエージェントシステムとしてモデル化する、統一的でモジュール化されたフレームワークである。
  論文  参考訳（メタデータ） (2025-05-20T03:14:57Z)
• MIBench: A Comprehensive Framework for Benchmarking Model Inversion Attack and Defense [42.56467639172508]
  Model Inversion (MI)攻撃は、ターゲットモデルの出力情報を活用して、プライバシに敏感なトレーニングデータを再構築することを目的としている。 我々は、モデル反転攻撃と防御の体系的評価のためのMIBenchという最初の実用的なベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-07T16:13:49Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。