Fugu-MT 論文翻訳(概要): The bitter lesson of misuse detection

論文の概要: The bitter lesson of misuse detection

arxiv url: http://arxiv.org/abs/2507.06282v1
Date: Tue, 08 Jul 2025 15:21:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-10 17:37:43.345672
Title: The bitter lesson of misuse detection
Title（参考訳）: 誤用検出の苦い教訓
Authors: Hadrien Mariaccia, Charbel-Raphaël Segerie, Diego Dorn,
Abstract要約: 本稿では,LLMスーパービジョンシステム評価のためのベンチマークであるBELLSを紹介する。ベルの枠組みは、重度(良性、境界線、有害)と敵対的洗練(直接対ジェイルブレイク)の2次元である。本評価は, 専門監督システムの大幅な限界を明らかにするものである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Prior work on jailbreak detection has established the importance of adversarial robustness for LLMs but has largely focused on the model ability to resist adversarial inputs and to output safe content, rather than the effectiveness of external supervision systems. The only public and independent benchmark of these guardrails to date evaluates a narrow set of supervisors on limited scenarios. Consequently, no comprehensive public benchmark yet verifies how well supervision systems from the market perform under realistic, diverse attacks. To address this, we introduce BELLS, a Benchmark for the Evaluation of LLM Supervision Systems. The framework is two dimensional: harm severity (benign, borderline, harmful) and adversarial sophistication (direct vs. jailbreak) and provides a rich dataset covering 3 jailbreak families and 11 harm categories. Our evaluations reveal drastic limitations of specialized supervision systems. While they recognize some known jailbreak patterns, their semantic understanding and generalization capabilities are very limited, sometimes with detection rates close to zero when asking a harmful question directly or with a new jailbreak technique such as base64 encoding. Simply asking generalist LLMs if the user question is "harmful or not" largely outperforms these supervisors from the market according to our BELLS score. But frontier LLMs still suffer from metacognitive incoherence, often responding to queries they correctly identify as harmful (up to 30 percent for Claude 3.7 and greater than 50 percent for Mistral Large). These results suggest that simple scaffolding could significantly improve misuse detection robustness, but more research is needed to assess the tradeoffs of such techniques. Our results support the "bitter lesson" of misuse detection: general capabilities of LLMs are necessary to detect a diverse array of misuses and jailbreaks.
Abstract（参考訳）: ジェイルブレイク検出の以前の研究は、LDMに対する敵の堅牢性の重要性を確立してきたが、主に、外部監視システムの有効性よりも、敵の入力に抵抗し、安全なコンテンツを出力するモデル能力に焦点を合わせてきた。これらのガードレールの唯一の公的および独立したベンチマークは、限られたシナリオにおける監督者の狭いセットを評価している。その結果、市場からの監視システムが現実的で多様な攻撃の下でどのように機能するかを、包括的な公開ベンチマークはまだ検証していない。そこで本研究では,LLMスーパービジョンシステム評価ベンチマークであるBELLSを紹介する。このフレームワークは2次元的であり、有害度(良性、境界線、有害性)と敵対的洗練度(直接対ジェイルブレイク)であり、3つのジェイルブレイクファミリーと11の有害カテゴリーをカバーする豊富なデータセットを提供する。本評価は, 専門監督システムの大幅な限界を明らかにするものである。彼らはいくつかの既知のジェイルブレイクパターンを認識しているが、それらのセマンティックな理解と一般化能力は非常に限られている。ユーザ質問が"有害かどうか"をジェネラリストに尋ねるだけで、BELLSスコアによると、これらのスーパーバイザーは市場から大きく上回っている。しかし、フロンティアのLSMは依然としてメタ認知的不整合に悩まされており、しばしば彼らが正しく有害であると認識するクエリに応答する(クロード3.7では最大30%、ミストラル大では50%以上)。これらの結果から, 単純な足場設計は誤用検出の堅牢性を著しく向上させるが, それらの技術とのトレードオフを評価するためには, さらなる研究が必要であることが示唆された。 LLMの一般的な能力は、さまざまな誤用や脱獄を検知するために必要である。

関連論文リスト

LLMs Caught in the Crossfire: Malware Requests and Jailbreak Challenges [70.85114705489222]
悪意のあるコード生成のための3,520のジェイルブレイクプロンプトを含むベンチマークデータセットであるMalwareBenchを提案する。 M MalwareBenchは、11のJailbreakメソッドと29のコード機能カテゴリをカバーする、320の手作業による悪意のあるコード生成要件に基づいている。実験の結果、LLMは悪意のあるコード生成要求を拒否する限られた能力を示し、複数のjailbreakメソッドを組み合わせることで、モデルのセキュリティ機能をさらに低下させることが示された。
論文参考訳（メタデータ） (2025-06-09T12:02:39Z)
Why Not Act on What You Know? Unleashing Safety Potential of LLMs via Self-Aware Guard Enhancement [48.50995874445193]
大規模言語モデル(LLM)は、様々なタスクにわたって印象的な機能を示しているが、細心の注意を払って構築されたジェイルブレイク攻撃には弱いままである。 SAGE(Self-Aware Guard Enhancement)は,LSMの強い安全識別性能と比較的弱い安全生成能力とを整合させる訓練不要防衛戦略である。
論文参考訳（メタデータ） (2025-05-17T15:54:52Z)
AttentionDefense: Leveraging System Prompt Attention for Explainable Defense Against Novel Jailbreaks [1.3101678989725927]
脱獄の悪質性の背後にある理由を説明するのは難しい。そこで本稿では,Small Language Models (SLM) からのシステム・プロンプト・アテンションを用いて,敵対的プロンプトを特徴付ける手法を提案する。本研究は、LMが悪意ある入力にどう反応するかを理解し説明するために、注意機構が不可欠であることを示唆している。
論文参考訳（メタデータ） (2025-04-10T22:29:23Z)
JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model [25.204224437843365]
マルチモーダル大規模言語モデル (MLLM) は視覚言語タスクに優れるが、有害なコンテンツを生成する大きなリスクを生じさせる。ジェイルブレイク攻撃は、モデル内の安全メカニズムを回避し、不適切なコンテンツや安全でないコンテンツを生成する意図的な操作を指す。 JAILDAMと呼ばれるテスト時間適応フレームワークを導入し、これらの問題に対処する。
論文参考訳（メタデータ） (2025-04-03T05:00:28Z)
Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense [55.77152277982117]
私たちは、jailbreak攻撃から防御するために設計された方法であるLayer-AdvPatcherを紹介します。私たちは、自己拡張データセットを通じて、大規模言語モデル内の特定のレイヤにパッチを適用するために、未学習の戦略を使用します。我々の枠組みは、脱獄攻撃の有害性と攻撃の成功率を減らす。
論文参考訳（メタデータ） (2025-01-05T19:06:03Z)
Shaping the Safety Boundaries: Understanding and Defending Against Jailbreaks in Large Language Models [55.253208152184065]
大規模言語モデル(LLM)におけるジェイルブレークは、LLMを騙して有害なテキストを生成するというセキュリティ上の問題である。我々は7つの異なるジェイルブレイク法を詳細に分析し、不一致が不十分な観察サンプルから生じることを確認した。安全境界内でのアクティベーションを適応的に制限する「textbfActivation Boundary Defense (ABD)」という新しい防衛法を提案する。
論文参考訳（メタデータ） (2024-12-22T14:18:39Z)
LIAR: Leveraging Inference Time Alignment (Best-of-N) to Jailbreak LLMs in Seconds [98.20826635707341]
ジェイルブレイク攻撃は、慎重に製作されたプロンプトを通じて有害なアウトプットを引き出すことによって、安全に整合したLDMの脆弱性を露呈する。私たちはジェイルブレイクを推論時のミスアライメントとして捉え、高速でブラックボックスのベスト・オブ・N$サンプリングアタックであるLIARを導入しました。また、安全アライメント強度を定量化し、最適下界を導出するための理論的「ジェイルブレイクに対する安全ネット」指標も導入する。
論文参考訳（メタデータ） (2024-12-06T18:02:59Z)
HSF: Defending against Jailbreak Attacks with Hidden State Filtering [14.031010511732008]
隠れ状態フィルタ(HSF)に基づくジェイルブレイク攻撃防御戦略を提案する。 HSFは、推論プロセスが始まる前に、モデルが相手の入力をプリエンプティブに識別し、拒否することを可能にする。不正なユーザクエリに対する応答を最小限に抑えながら、Jailbreak攻撃の成功率を大幅に低下させる。
論文参考訳（メタデータ） (2024-08-31T06:50:07Z)
SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文参考訳（メタデータ） (2024-06-20T17:56:07Z)
Bag of Tricks: Benchmarking of Jailbreak Attacks on LLMs [13.317364896194903]
大規模言語モデル(LLM)は、ゼロショット方式で複雑なタスクを実行する上で重要な機能を示している。 LLMはジェイルブレイク攻撃の影響を受けやすく、有害な出力を生成するために操作することができる。
論文参考訳（メタデータ） (2024-06-13T17:01:40Z)
JailbreakRadar: Comprehensive Assessment of Jailbreak Attacks Against LLMs [26.981225219312627]
様々なジェイルブレイク攻撃の大規模評価を行う。我々は17の代表的なジェイルブレイク攻撃を収集し、それらの特徴を要約し、新しいジェイルブレイク攻撃分類を確立した。
論文参考訳（メタデータ） (2024-02-08T13:42:50Z)
Tricking LLMs into Disobedience: Formalizing, Analyzing, and Detecting Jailbreaks [12.540530764250812]
我々は、既知の(そして可能な)ジェイルブレイクの形式主義と分類法を提案する。私たちは3700のjailbreakプロンプトにまたがるモデル出力のデータセットを4つのタスクでリリースしています。
論文参考訳（メタデータ） (2023-05-24T09:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。