論文の概要: Refuse without Refusal: A Structural Analysis of Safety-Tuning Responses for Reducing False Refusals in Language Models

• arxiv url: http://arxiv.org/abs/2609.04714v1
• Date: Fri, 04 Sep 2026 04:37:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.91107
• Title: Refuse without Refusal: A Structural Analysis of Safety-Tuning Responses for Reducing False Refusals in Language Models
• Title（参考訳）: 拒絶のない再利用:言語モデルにおける偽りの低減のための安全調整応答の構造解析
• Abstract要約: また, 否定文は, 表面的手がかりに依存することによって, 有害問合せと良性問合せの正確な識別を阻害することを示した。 また,合理性のみを訓練することで,同等の安全性能を維持しながら誤認を低減できることを示す。
• 参考スコア（独自算出の注目度）: 7.073710587892435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Striking a balance between helpfulness and safety remains a fundamental challenge in aligning large language models. To achieve this balance, models should refuse harmful queries (e.g., "How do I shoot someone?") while remaining responsive to benign inputs, even those superficially resembling harmful queries (e.g., "Where can I shoot a good photo?"). However, models often struggle to distinguish genuinely harmful queries from benign queries that contain superficially risky language, resulting in false refusals. In this paper, we address the issue by decomposing a response in the safety-tuning dataset into two distinct components: (i) a boilerplate refusal statement and (ii) a rationale explaining the refusal. Our experiments and analyses show that refusal statements impede accurate discrimination between harmful and benign queries by inducing reliance on superficial cues. In contrast, training solely on rationales reduces false refusals while maintaining a comparable level of safety performance. Rationale-Only benefits also appear in our ICL configuration and remain compatible with the evaluated inference-time mitigation methods. The results emphasize the necessity of precisely curated, fine-grained safety supervision datasets and outline directions for constructing aligned agents that better reconcile helpfulness with safety.
• Abstract（参考訳）: 有用性と安全性のバランスを取ることは、大きな言語モデルを調整する上での根本的な課題である。 このバランスを達成するために、モデルは有害なクエリ(例:「どのように誰かを撃つか」)を拒否するが、良心的な入力に反応する一方で、表面的には有害なクエリ(例:「良い写真を撮れるか? しかし、モデルはしばしば、真に有害なクエリと、表面的に危険な言語を含む良質なクエリを区別するのに苦労する。 本稿では、安全チューニングデータセットの応答を2つの異なるコンポーネントに分解することで、この問題に対処する。 一 ボイラープレートの拒絶申告書及び 二 拒絶の理由を説明する理屈 実験および分析の結果, 拒絶文は表面的手がかりに依存することによって, 有害クエリと良性クエリの正確な識別を阻害することが示された。 対照的に、合理性のみのトレーニングは、同等の安全性性能を維持しながら、虚偽の拒絶を減少させる。 Rationale-Onlyの利点は、我々のICL設定にも現れ、評価された推論時間緩和手法と互換性が保たれる。 その結果、精密にキュレートされたきめ細かい安全監視データセットの必要性を強調し、安全とよりよく調和したエージェントを構築するための方向性を概説した。

関連論文リスト

• Addressing Over-Refusal in LLMs with Competing Rewards [28.092622045521917]
  言語モデルの安全性トレーニングは、しばしば過剰な拒絶を引き起こす。 我々は、安全でない推論自体が有用な探索信号として機能すると主張している。 この行動は、有害な推論を直接操作する攻撃を過度に拒絶し、防御するのに役立ちます。
  論文  参考訳（メタデータ） (2026-06-30T14:38:49Z)
• Deactivating Refusal Triggers: Understanding and Mitigating Overrefusal in Safety Alignment [14.672527265339722]
  安全性アライメントは、大規模な言語モデル(LLM)が、拒絶された回答と組み合わせた有害なクエリのトレーニング後、有害な要求を拒否することを保証することを目的としている。 本稿では,安全アライメント下での過度な拒絶がどのように起こるのかを考察し,本研究から着想を得た緩和戦略を提案する。
  論文  参考訳（メタデータ） (2026-03-12T00:07:19Z)
• Understanding and Mitigating Over-refusal for Large Language Models via Safety Representation [23.989016366701232]
  大きな言語モデルには安全性の脆弱性がある。 モデル安全性の改善は、しばしば過度に拒絶されるコストがかかる。 LLMの安全性表現を介入することで過度な拒絶を緩和するMOSRを提案する。
  論文  参考訳（メタデータ） (2025-11-24T11:38:53Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• FalseReject: A Resource for Improving Contextual Safety and Mitigating Over-Refusals in LLMs via Structured Reasoning [12.467239356591238]
  FalseRejectは、44の安全関連カテゴリにまたがる構造化された応答を伴う16kの一見有毒なクエリを含む包括的なリソースである。 本稿では,多種多様な複雑なプロンプトを生成するグラフインフォームド・逆多エージェントインタラクション・フレームワークを提案する。 FalseRejectによる教師付き微調整は、全体的な安全性や汎用言語能力を損なうことなく、不要な拒絶を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-05-12T20:45:25Z)
• Think Before Refusal : Triggering Safety Reflection in LLMs to Mitigate False Refusal Behavior [59.20260988638777]
  本研究は, 応答発生前の安全反射の促進により, 虚偽の拒絶行動が軽減されることを実証する。 15種類の事前訓練モデルを対象としたアブレーション実験において, 安全性を考慮した微調整モデルでは, 誤検知の挙動が著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-03-22T23:35:49Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。