論文の概要: Recoverability-Controlled Safety Miscalibration in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.22425v1
• Date: Thu, 15 Oct 2026 05:02:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.584539
• Title: Recoverability-Controlled Safety Miscalibration in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける可逆性制御型安全ミススキャリブレーション
• Abstract要約: RiskCueBenchは、安全に整合した言語モデルのための、回復可能性制御されたベンチマークである。 RiskCueBenchは、モデルがハイレベルな意図を回復し、同じプロンプトでその安全行動を評価することができるかどうかを測定する。 文脈化された特異性の増加は、安全性の低い行動へのシフトを引き起こすことが判明した。
• 参考スコア（独自算出の注目度）: 15.79983634847015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety-aligned language models are expected to refuse harmful requests while remaining useful for benign ones. However, because many evaluations score only the final response, they often conflate intent understanding with response-level safety behavior. To address this, we introduce RiskCueBench, a recoverability-controlled benchmark that separates these two stages by first measuring whether a model can successfully recover a high-level intent and then evaluating its safety behavior on the same prompt. RiskCueBench contains 160 latent intents and 640 abstract non-operational surface prompts across eight risk categories. The benchmark covers 25 completed model groups and 32,000 successful model outputs with final rubric-adjudicated labels. When conditioning on pairs where both surface forms are recoverable, we find that increased contextualized specificity induces a shift toward less safe behavior. Specifically, paired bootstrap estimates show that the refusal rate and global safety score decrease by 0.175 and 0.440, respectively. Furthermore, mixed effects modeling corroborates a 0.107 increase in unsafe cooperation. These results show that the safety behavior can be miscalibrated to the surface form even after the intent has been recovered, motivating safety evaluations that report response behavior conditional on semantic recoverability.
• Abstract（参考訳）: 安全に配慮した言語モデルは、有害な要求を拒否すると同時に、良心的な要求に役立ち続けることが期待されている。 しかし、多くの評価が最終応答のみをスコアするので、しばしば反応レベルの安全性の振る舞いと意図的な理解を詳述する。 そこで本研究では,モデルが高レベルのインテントを回復し,その安全性を同一のプロンプトで評価することにより,これらの2段階を分離するリスクキューベンチを提案する。 RiskCueBenchには160の潜伏意図と640の抽象的な非操作面プロンプトがあり、8つのリスクカテゴリにまたがっている。 ベンチマークでは25の完成モデルグループと32,000のモデルアウトプットをカバーし、最終的なルーリック適応ラベルが使用されている。 両面の形状が復元可能なペアを条件付けすると、文脈化された特異性の増加は、安全性の低い行動へのシフトを引き起こす。 特に、ペアブートストラップ推定では、拒絶率とグローバルセーフティスコアはそれぞれ0.175と0.440と減少している。 さらに、混合効果モデリングは、安全でない協調の0.107の増加を裏付ける。 これらの結果から, 意図が回復した後も, 安全性の挙動を表面形態に誤分類し, セマンティック・リカバリビリティを前提とした応答挙動を報告した安全性評価の動機付けが可能であることが示唆された。

関連論文リスト

• Beyond Routine Compliance: Cunning Data Cultivates Safety Vigilance in Large Language Models [13.286950013891635]
  安全アライメントは、大きな言語モデルに有害な要求を認識し、リスクのある指示を拒否するように教える。 我々は、必ずしも安全に関するものではなく、誤解を招く前提を含む、textbfcunning質問を導入する。 実験により、カニングトレーニングは、分配不能のジェイルブレイク攻撃に対する堅牢性を改善し、その後の安全性の微調整を強化することが示されている。
  論文  参考訳（メタデータ） (2026-09-16T11:46:48Z)
• EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models [3.659020283346239]
  VLM安全性のためのエビデンス基盤フレームワークであるEviSafeを紹介する。 自然なユーザ向け行動、テキストおよび視覚的証拠の明確な根拠、および反事実的変化に対する行動感受性を共同で評価する。 EviSafeBenchは、フレームワークを1,181金の画像テキストシナリオで制御されたベンチマークとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-24T14:32:25Z)
• Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning [2.9184958249079975]
  既存の防衛は、限られた保護を提供するか、安全と実用性の間のトレードオフを強制する。 安全リスクに応じて正規化を適応するトレーニングフレームワークを導入する。 前世代の活性化から有害な意図信号が予測可能であることを実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-19T16:59:54Z)
• Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context [82.32380418146656]
  Health-ORSC-Benchは、医療におけるtextbfOver-Refusalと textbfSafe Completionの品質を測定するために設計された最初の大規模ベンチマークである。 私たちのフレームワークは、人間の検証を備えた自動パイプラインを使用して、さまざまなレベルの意図の曖昧さでモデルをテストします。 Health-ORSC-Benchは、次世代の医療AIアシスタントを調整するための厳格な標準を提供する。
  論文  参考訳（メタデータ） (2026-01-25T01:28:52Z)
• SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
  LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。 私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。 我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
  論文  参考訳（メタデータ） (2025-11-19T06:46:33Z)
• Rethinking Deep Alignment Through The Lens Of Incomplete Learning [14.306119791052575]
  自己回帰訓練中の位置依存的勾配弱化は信号減衰を引き起こし,不完全安全性学習につながることを示す。 不完全な安全学習の計算指標として,基本条件付きトークンを導入する。 Llama と Qwen モデルファミリ間の実験的評価により, 対向ロバスト性は劇的に向上した。
  論文  参考訳（メタデータ） (2025-11-15T10:53:03Z)
• Preventing Catastrophic Forgetting: Behavior-Aware Sampling for Safer Language Model Fine-Tuning [8.962376414368846]
  大きな言語モデルは、良質なデータを微調整すると、以前整列した安全行動を失うことが多い。 本稿では,2つの相補的要因に基づいて安全事例を選択する行動認識型サンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-23T20:34:52Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。