論文の概要: Addressing Over-Refusal in LLMs with Competing Rewards

• arxiv url: http://arxiv.org/abs/2606.31748v1
• Date: Tue, 30 Jun 2026 14:38:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.272569
• Title: Addressing Over-Refusal in LLMs with Competing Rewards
• Title（参考訳）: 競合するリワードを伴うLDMにおける過剰拒絶への対処
• Abstract要約: 言語モデルの安全性トレーニングは、しばしば過剰な拒絶を引き起こす。 我々は、安全でない推論自体が有用な探索信号として機能すると主張している。 この行動は、有害な推論を直接操作する攻撃を過度に拒絶し、防御するのに役立ちます。
• 参考スコア（独自算出の注目度）: 28.092622045521917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety training on language models often induces over-refusal: improved safety on harmful prompts at the cost of increased refusal on harmless ones. Though this trade-off can be mitigated by training models with reinforcement learning (RL) to reason before answering, it does not remove the underlying problem that reasoning can often be a "rubber stamp" for a predetermined response. In this paper, we address the safety-refusal trade-off by rethinking how models are trained to reason about safety. Our key insight is that unsafe reasoning can itself serve as a useful exploratory signal. Rather than preemptively blocking harmful thoughts, we encourage the model to sufficiently explore unsafe reasoning but produce a safe response. The harmful exploration improves the model's ability to distinguish harmful from harmless prompts by resolving ambiguity, allowing it to remain safe while complying only when appropriate. We cast this as an adversarial optimization problem in which a reasoning player explores strategies for producing an unsafe response and an answer player ensures that the final output is safe. We train a single model with dense rewards to play both roles within one chain-of-thought, across different segments. To achieve this, we find that process rewards are crucial for stable optimization of competing objectives. Our resulting model SEAR deliberately engages in harmful reasoning as exploration while reliably flipping back to a safe answer. We demonstrate that this behavior helps mitigate over-refusal and defend against attacks that directly manipulate the reasoning to be harmful.
• Abstract（参考訳）: 言語モデルの安全性トレーニングは、しばしば過剰な拒絶を誘発し、有害なプロンプトに対する安全性を改善し、有害なプロンプトに対する拒絶を増大させる。 このトレードオフは、強化学習(RL)を用いたトレーニングモデルによって緩和されるが、推論が所定の応答に対して「ゴムスタンプ」になりうるという根本的な問題は排除されない。 本稿では,モデルが安全を判断するためにどのように訓練されているかを再考することによって,安全性のトレードオフに対処する。 私たちの重要な洞察は、安全でない推論はそれ自体が有用な探索信号として機能するということです。 有害な思考をプリエンプティブにブロックするのではなく、安全でない推論を十分に探求し、安全な応答を生み出すようモデルに推奨する。 有害な探索により、曖昧さを解消することで有害なプロンプトと有害なプロンプトを区別する能力が向上し、適切なときにのみコンプライアンスを保ちながら安全を保つことができる。 我々はこれを,不安全応答を生成するための戦略を推論器が探索し,応答器が最終出力が安全であることを保証する逆最適化問題とみなした。 私たちは、1つのチェーン内の2つの役割を異なるセグメントで果たすために、密度の高い報酬を持つ1つのモデルをトレーニングします。 これを実現するために、プロセス報酬は競合する目的の安定的な最適化に不可欠であることがわかった。 得られたモデルSEARは、探索として有害な推論を意図的に行い、確実に安全な回答に戻す。 この行動は、過度な拒絶を緩和し、有害な理由を直接操作する攻撃に対して防御するのに役立つことを実証する。

関連論文リスト

• THINKSAFE: Self-Generated Safety Alignment for Reasoning Models [60.10077024249373]
  外部の教師がいなくても安心して安心できるフレームワークであるThinkSafeを提案する。 我々の重要な洞察は、コンプライアンスは安全メカニズムを抑制するが、モデルはしばしば害を特定するために潜伏した知識を保持することである。 DeepSeek-R1-DistillとQwen3の実験では、ThinkSafeは推論能力を維持しながら安全性を大幅に向上している。
  論文  参考訳（メタデータ） (2026-01-30T16:31:02Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• Reasoning as an Adaptive Defense for Safety [44.78731851555853]
  私たちは、$textitTARS$(安全のための適応推論器の訓練)というレシピを構築します。 我々は、チェーンオブソートトレースと、タスク完了と安全のバランスをとる報奨信号を用いて、安全性について推論するモデルを訓練する。 我々の研究は,lLMをジェイルブレイクや有害な要求に対して,プロンプトごとに推論することで,効果的かつオープンなレシピを提供する。
  論文  参考訳（メタデータ） (2025-07-01T17:20:04Z)
• Think Before Refusal : Triggering Safety Reflection in LLMs to Mitigate False Refusal Behavior [59.20260988638777]
  本研究は, 応答発生前の安全反射の促進により, 虚偽の拒絶行動が軽減されることを実証する。 15種類の事前訓練モデルを対象としたアブレーション実験において, 安全性を考慮した微調整モデルでは, 誤検知の挙動が著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-03-22T23:35:49Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。