Fugu-MT 論文翻訳(概要): TIER: Threat Implicitness Benchmark for Evaluating LLM Safety Behaviors

論文の概要: TIER: Threat Implicitness Benchmark for Evaluating LLM Safety Behaviors

arxiv url: http://arxiv.org/abs/2609.05117v1
Date: Fri, 04 Sep 2026 13:13:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-07 18:15:24.052828
Title: TIER: Threat Implicitness Benchmark for Evaluating LLM Safety Behaviors
Title（参考訳）: TIER: LLMの安全行動評価のための危険度ベンチマーク
Abstract要約: 本稿では,LLMの行動安全評価のための危険度ベンチマークであるTIERを紹介する。 TIERは4つのリスクドメインと4つの脅威レベルをカバーしている。実験によると、安全行動は、拒絶からコンプライアンスへ直接移行するのではなく、脅威レベルを越えて徐々に進化している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Current LLM safety benchmarks largely rely on binary metrics, overlooking how models respond to harmful prompts with varying threat implicitness. We introduce TIER, a Threat Implicitness Benchmark for behavioral safety evaluation of LLMs. TIER covers four risk domains and four threat levels, from explicit harmful requests to sophisticated jailbreaks. Responses are assessed using a six-label behavior scale and two independent LLM judges. Experiments on six open-weight LLMs show that safety behaviors evolve gradually across threat levels rather than shifting directly from refusal to compliance. Contextual prompts yield the most diverse behaviors, while jailbreaks reveal the largest robustness gaps. Furthermore, models with similar Attack Success Rates can exhibit distinct response distributions, highlighting the need for behavior-aware LLM safety evaluation.
Abstract（参考訳）: 現在のLLMの安全性ベンチマークは、モデルが脅威の暗黙性の異なる有害なプロンプトにどのように反応するかを見越して、バイナリメトリクスに大きく依存している。本稿では,LLMの行動安全評価のための危険度ベンチマークであるTIERを紹介する。 TIERは4つのリスクドメインと4つの脅威レベルをカバーしている。反応は6ラベルの行動尺度と2人の独立LLM審査員を用いて評価される。 6つのオープンウェイトLCM実験により、安全行動は、拒絶からコンプライアンスへ直接移行するのではなく、脅威レベルを越えて徐々に進化していることが示された。文脈的プロンプトは最も多様な振る舞いをもたらし、ジェイルブレイクは最大の堅牢性ギャップを明らかにします。さらに、同様のアタック成功率のモデルでは、行動に配慮したLCM安全性評価の必要性を強調して、異なる応答分布を示すことができる。

関連論文リスト

Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。 BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
論文参考訳（メタデータ） (2026-06-04T14:48:23Z)
MultiBreak: A Scalable and Diverse Multi-turn Jailbreak Benchmark for Evaluating LLM Safety [34.69024935656433]
MultiBreakは、大規模言語モデル(LLM)の安全性を評価するために、スケーラブルで多様なマルチターンジェイルブレイクベンチマークである。我々のベンチマークは、DeepSeek-R1-7BとGPT-4.1-miniの2番目に高いデータセットよりも54.0と34.6高い攻撃成功率(ASR)を達成した。
論文参考訳（メタデータ） (2026-05-03T02:55:30Z)
Safe2Harm: Semantic Isomorphism Attacks for Jailbreaking Large Language Models [2.6986809342283262]
大規模言語モデル(LLM)は、様々なタスクにわたって例外的なパフォーマンスを示しているが、そのセキュリティ脆弱性は攻撃者が悪質なコンテンツを生成するために悪用することができる。本稿では,4段階にわたる効率的な脱獄を実現するSafe2Harmセマンティックアイソモーフィック攻撃法を提案する。 7つの主要なLCMと3種類のベンチマークデータセットの実験は、Safe2Harmが強いジェイルブレイク能力を示していることを示している。
論文参考訳（メタデータ） (2025-12-05T03:44:26Z)
Safety and Security Analysis of Large Language Models: Benchmarking Risk Profile and Harm Potential [0.1631115063641726]
本研究は,9大言語モデル(LLM)の実証分析とリスクプロファイルを提供する。 RSIはアジャイルでスケーラブルな評価スコアであり、セキュリティ姿勢を定量化し比較し、LLMのリスクプロファイルを作成する。この研究は、テストされたLLMの安全性フィルタの広範な脆弱性を発見し、より強力なアライメント、責任あるデプロイメントプラクティス、モデルガバナンスの必要性を強調している。
論文参考訳（メタデータ） (2025-09-12T19:34:10Z)
GuardVal: Dynamic Large Language Model Jailbreak Evaluation for Comprehensive Safety Testing [13.267217024192535]
大規模言語モデル(LLMs)におけるジェイルブレイク攻撃の重大な脆弱性本稿では,保護者LSMの状態に基づいてジェイルブレイクプロンプトを生成・改善する新しい評価プロトコルであるGuardValを紹介する。このプロトコルを10の安全領域にわたるMistral-7bからGPT-4まで多様なモデルに適用する。
論文参考訳（メタデータ） (2025-07-10T13:15:20Z)
SafeMLRM: Demystifying Safety in Multi-modal Large Reasoning Models [50.34706204154244]
推論能力の獲得は、引き継がれた安全アライメントを壊滅的に劣化させる。特定のシナリオは、25倍の攻撃率を被る。 MLRMは、厳密な推論と問合せの安全結合にもかかわらず、初期段階の自己補正を示す。
論文参考訳（メタデータ） (2025-04-09T06:53:23Z)
SafeSwitch: Steering Unsafe LLM Behavior via Internal Activation Signals [51.49737867797442]
大規模言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示すが、有害なコンテンツを生成することでリスクを引き起こす。 LLMは、内部状態の安全性に関する内部評価を同様に行うことができることを示す。本稿では,プロバーをベースとした内部状態モニタを用いて,安全でない出力を規制するSafeSwitchを提案する。
論文参考訳（メタデータ） (2025-02-03T04:23:33Z)
Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM [53.79753074854936]
大規模言語モデル(LLM)は、出現するジェイルブレイク攻撃に対してますます脆弱である。この脆弱性は現実世界のアプリケーションに重大なリスクをもたらす。本稿では,ガイドラインLLMという新しい防御パラダイムを提案する。
論文参考訳（メタデータ） (2024-12-10T12:42:33Z)
SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
論文参考訳（メタデータ） (2024-10-24T17:14:40Z)
SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。過大な安全性の懸念を和らげるために,SCANS法を提案する。
論文参考訳（メタデータ） (2024-08-21T10:01:34Z)
Uncovering Safety Risks of Large Language Models through Concept Activation Vector [13.804245297233454]
大規模言語モデル(LLM)に対する攻撃を誘導する安全概念活性化ベクトル(SCAV)フレームワークについて紹介する。そこで我々は,攻撃プロンプトと埋め込みレベルの攻撃の両方を生成できるSCAV誘導攻撃法を開発した。本手法は,トレーニングデータが少なくなるとともに,攻撃成功率と応答品質を著しく向上させる。
論文参考訳（メタデータ） (2024-04-18T09:46:25Z)
Safety Assessment of Chinese Large Language Models [51.83369778259149]
大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
論文参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。