論文の概要: When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models

• arxiv url: http://arxiv.org/abs/2605.27851v1
• Date: Wed, 27 May 2026 02:09:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.686191
• Title: When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models
• Title（参考訳）: コンテキストが下がれば、安全が損なわれる - 言語モデルによる脆弱な安全性の診断
• Authors: Dasol Choi, Alex Kwon,
• Abstract要約: 安全ベンチマークスコアは、デプロイの準備が不完全な証拠を提供する。 整列言語モデルは、状況アップデートがどのアクションが安全かをひっくり返しても、厳格なルールに固執することが多い。 安全ベンチマーク全体で12のモデルと2つのコモンセンス制御を、名目上安全なアクションが害をもたらすペア付き変種を用いてテストする。
• 参考スコア（独自算出の注目度）: 5.03712104249503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety benchmark scores provide incomplete evidence of deployment readiness: aligned language models often adhere to rigid rules even when a situational update flips which action is safe. We term this failure brittle safety. To diagnose it, we introduce context-flip evaluation, testing 12 models across a safety benchmark (PacifAIst) and two commonsense controls using paired variants where the nominally safe action produces harm. Three findings emerge. First, brittle safety is safety-specific: all 12 models exhibit a safety-commonsense gap (mean +17.4 pp). Baseline accuracy fails to predict brittleness: among models above 90% baseline accuracy, brittleness rates range from 13.7% to 90.0%. Second, failures stem from policy override rather than miscomprehension: despite acknowledging the context change in every case, models persist via three distinct mechanisms that vary by update type and model family. Third, on a hand-audited probe of catastrophic consequence-flip scenarios, standard action-level guardrails catch none, while a state-aware validator catches all without false alarms on correct interventions. This indicates that action-level content moderation is systematically blind to consequence-flips, motivating state-aware architectural alternatives. We release our protocol, perturbed benchmarks, and deployment probe.
• Abstract（参考訳）: 一致した言語モデルは、状況アップデートがどのアクションが安全かをひっくり返しても、厳格なルールに固執することが多い。 私たちはこの失敗を不安定な安全と表現する。 安全ベンチマーク(PacifAIst)と2つのコモンセンス制御を用いて、名目上安全なアクションが害をもたらすペア付き変種を用いて、コンテキストフリップ評価、12モデルの安全性ベンチマーク(PacifAIst)をテストする。 3つの発見がある。 第一に、不安定な安全は安全に特有であり、12モデル全てが安全と共通点(平均+17.4pp)を示す。 ベースライン精度の90%を超えるモデルでは、脆度率は13.7%から90.0%である。 第2に、失敗は誤った理解というよりも、ポリシーのオーバーライドに起因している。すべてのケースにおいてコンテキストの変更が認識されているにもかかわらず、モデルは更新タイプとモデルファミリによって異なる3つのメカニズムを介して持続する。 第三に、破滅的な結果のシナリオを手作業で調査した結果、標準のアクションレベルのガードレールは、何もキャッチできない。 これは、アクションレベルのコンテンツモデレーションが、結果フリップに対して体系的に盲目であることを示し、ステートアウェアなアーキテクチャ代替案を動機付けている。 当社はプロトコル、摂動ベンチマーク、デプロイメントプローブをリリースしています。

関連論文リスト

• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety [0.0]
  我々は,足場が安全に与える影響について,最も制御された研究の1つを報告した。 マップ・リデュース・足場は、測定された安全性を低下させる。 同一項目における複数選択からオープンエンドフォーマットへの切り替えは、安全性スコアを5～20ポイントシフトさせる。
  論文  参考訳（メタデータ） (2026-03-08T01:37:45Z)
• Trust The Typical [8.32740388004069]
  本稿では,安全をアウト・オブ・ディストリビューション(OOD)検出問題として扱うことにより,この原則を運用するフレームワークであるTrust The typical(T3)を紹介する。 T3は意味空間における許容可能なプロンプトの分布を学習し、潜在的な脅威として有意な偏差を宣言する。 安全な英語のテキスト転送のみを訓練した単一のモデルは、訓練をすることなく、多様なドメインと14以上の言語に効果的に移行した。
  論文  参考訳（メタデータ） (2026-02-04T14:06:46Z)
• When Safety Blocks Sense: Measuring Semantic Confusion in LLM Refusals [0.07777489763207261]
  現在の評価では、主に虚偽の拒絶やコンプライアンスなどのグローバルレートを報告している。 このようなローカル不整合をキャプチャする障害モードである"セマンティック・混乱"を導入する。 トークンレベルでは,コンフュージョン指数,コンフュージョンレート,コンフュージョン深さという3つのモデルに依存しない指標を提案する。
  論文  参考訳（メタデータ） (2025-11-30T19:11:45Z)
• Qwen3Guard Technical Report [127.69960525219051]
  Qwen3Guardは、多言語安全ガードレールモデルである。 生成的Qwen3Guardは、きめ細かい三級判定を可能にする命令追従タスクとして安全分類をキャストする。 Stream Qwen3Guardは、リアルタイム安全監視のためのトークンレベルの分類ヘッドを導入している。
  論文  参考訳（メタデータ） (2025-10-16T04:00:18Z)
• DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
  安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。 既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。 この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
  論文  参考訳（メタデータ） (2025-10-12T23:21:34Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• The Rogue Scalpel: Activation Steering Compromises LLM Safety [11.402179030703188]
  アクティベーションステアリング(Activation steering)は、推論中にモデルの隠れ状態に直接意味論的意味のあるベクトルを追加することによって、LCMの動作を制御する技術である。 ステアリングはモデルアライメントの保護を系統的に破り、有害な要求に従わせる。
  論文  参考訳（メタデータ） (2025-09-26T08:49:47Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。