論文の概要: Beyond Routine Compliance: Cunning Data Cultivates Safety Vigilance in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.18515v1
• Date: Wed, 16 Sep 2026 11:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.775613
• Title: Beyond Routine Compliance: Cunning Data Cultivates Safety Vigilance in Large Language Models
• Title（参考訳）: ルーチンコンプライアンスを超えて: Cunning Dataは大規模言語モデルにおける安全性の保証を育む
• Abstract要約: 安全アライメントは、大きな言語モデルに有害な要求を認識し、リスクのある指示を拒否するように教える。 我々は、必ずしも安全に関するものではなく、誤解を招く前提を含む、textbfcunning質問を導入する。 実験により、カニングトレーニングは、分配不能のジェイルブレイク攻撃に対する堅牢性を改善し、その後の安全性の微調整を強化することが示されている。
• 参考スコア（独自算出の注目度）: 13.286950013891635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety alignment teaches large language models (LLMs) to recognize harmful requests and reject risky instructions. Yet aligned models can fail when harmful intent is concealed within seemingly benign contexts. Robust safety therefore requires both knowledge of safety boundaries and \textbf{vigilance}: the ability to detect unusual premises, misleading reasoning, and latent risks beneath surface-level semantics. Vigilance requires models to scrutinize a request's underlying intent and assumptions before acting. To cultivate this capability, we introduce \textbf{cunning questions}, which are not necessarily safety-related but contain misleading premises, atypical reasoning, or subtle inconsistencies. We hypothesize that learning to look beyond such reasoning traps can transfer to safety-critical scenarios. Experiments show that Cunning training improves robustness to out-of-distribution jailbreak attacks and strengthens subsequent safety fine-tuning. Furthermore, augmenting an existing state-of-the-art safety alignment pipeline with Cunning establishes a new state of the art across our evaluated settings, reducing mean ASR across nine backbone--benchmark combinations from 17.40\% to 15.05\%. Trace analysis after matched safety fine-tuning suggests that safety judgments are more likely to govern responses before harmful planning begins. A conditional theoretical analysis further characterizes when invariance learned from cunning data can transfer to safety-related inputs. These findings suggest that cunning data can strengthen model vigilance and complement conventional safety alignment.
• Abstract（参考訳）: 安全アライメントは、大きな言語モデル(LLM)に有害な要求を認識し、リスクのある指示を拒否するように教える。 しかし、有害な意図が明らかなコンテキスト内に隠された場合、アライメントされたモデルは失敗する可能性がある。 したがって、ロバスト安全性には安全境界の知識と「textbf{vigilance}」の両方が必要である。 警戒は、行動する前に要求の基本的な意図と前提を精査するモデルを必要とする。 この能力を養うために、必ずしも安全性に関係しないが、誤解を招く前提、非典型的推論、微妙な矛盾を含む「textbf{cunning questions}」を導入する。 このような推論トラップを越える学習は、安全クリティカルなシナリオに移行できる、という仮説を立てています。 実験により、カニングトレーニングは、分配不能のジェイルブレイク攻撃に対する堅牢性を改善し、その後の安全性の微調整を強化することが示されている。 さらに、既存の最先端の安全アライメントパイプラインをCunningで強化することで、評価された設定全体にわたって新たな最先端性を確立し、9つのバックボーン-ベンチマークの組み合わせの平均ASRを17.40\%から15.05\%に削減します。 一致した安全微調整後のトレース分析は、有害な計画が始まる前に、安全判断が応答を統制する可能性が高いことを示唆している。 条件理論解析は、cunningデータから学んだ不変性が安全関連入力に転送できる場合にさらに特徴付ける。 これらの結果から, クンニングデータはモデル警戒を強化し, 従来の安全アライメントを補完する可能性が示唆された。

関連論文リスト

• Adaptive and Explicit safe: Triggering Latent Safety Awareness in Large Reasoning Models [31.940554924036807]
  大規模推論モデル(LRM)は、高度なジェイルブレイクや直接的な有害なクエリに対して非常に脆弱である。 我々は、安全分析とガイダンスをトリガーする安全なタグを明示的に誘導するために、Supervised Fine-Tuning (SFT) を採用している。 また、安全分析およびガイダンスの正確性と安定性をさらに高めるために、直接選好最適化(DPO)を適用した。
  論文  参考訳（メタデータ） (2026-06-15T14:51:34Z)
• Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack [19.201635180438313]
  大規模言語モデル(LLM)は、有害な要求を拒否するために厳格に整列されている。 本研究では、この高度な安全意識が必然的に致命的な脆弱性をもたらすことを明らかにする。
  論文  参考訳（メタデータ） (2026-06-04T02:36:41Z)
• HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
  CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。 CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。 実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
  論文  参考訳（メタデータ） (2026-03-15T13:09:43Z)
• SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
  LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。 私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。 我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
  論文  参考訳（メタデータ） (2025-11-19T06:46:33Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Advancing Neural Network Verification through Hierarchical Safety Abstract Interpretation [52.626086874715284]
  我々は、安全でない出力の階層構造を検証する抽象的DNN検証と呼ばれる新しい問題定式化を導入する。 出力到達可能な集合に関する抽象的解釈と推論を活用することにより,形式的検証プロセスにおいて,複数の安全性レベルを評価することができる。 我々の貢献には、新しい抽象的安全性の定式化と既存のアプローチとの関係を理論的に探求することが含まれる。
  論文  参考訳（メタデータ） (2025-05-08T13:29:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。