論文の概要: Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling

• arxiv url: http://arxiv.org/abs/2607.20791v1
• Date: Wed, 22 Jul 2026 23:33:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.235018
• Title: Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling
• Title（参考訳）: Refusal-Gated Decoding:高温サンプリングにおけるRefusal振舞いの保存
• Abstract要約: LLMの温度変化が拒絶行動に与える影響について検討した。 本稿では, モデルが解凍応答を高温で保持する効率的な逐次復号法を提案する。 本研究では, 高温サンプリングを必要とするアプリケーションに対して, 断熱挙動を効率的に維持する方法を実証する。
• 参考スコア（独自算出の注目度）: 7.887862284767784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-temperature sampling is one of the primary mechanisms for increasing diversity in LLMs. Recent advances in truncation-based sampling techniques have helped mitigate drawbacks of high-temperature sampling such as neural text degeneration, thereby enabling greater diversity in LLM outputs without sacrificing coherence. However, increasing the entropy of the token probability distribution via high temperatures has also been shown to weaken model guardrails by reducing the model's refusal response in the presence of harmful prompts. Despite the potential benefits of high-temperature sampling and the importance of maintaining model safety, there is a lack of existing solutions for maintaining the refusal behavior of LLMs under a higher entropy regime. To address this gap, we systematically study how temperature influences refusal behavior in LLMs and propose an efficient sequential decoding approach which preserves a model's greedy decoding refusal response at high temperatures while incurring minimal additional latency. Through extensive experiments, we show that our approach preserves 91-99% of the greedy decoding refusal behavior across three benchmark datasets without compromising the model's high-temperature response for safe prompts. Our work demonstrates how refusal behavior can be maintained in an efficient manner for applications which require high-temperature sampling.
• Abstract（参考訳）: 高温サンプリングはLLMの多様性を増大させる主要なメカニズムの1つである。 トルーニケーションに基づくサンプリング技術の最近の進歩は、ニューラルテキスト変性などの高温サンプリングの欠点を軽減するのに役立ち、コヒーレンスを犠牲にすることなくLCM出力の多様性を高めることができる。 しかし, 高温によるトークン確率分布のエントロピーの増加は, 有害なプロンプトの存在下でのモデル拒絶応答を低減し, モデルガードレールの弱体化をも示している。 高温サンプリングの潜在的なメリットとモデル安全性の維持の重要性にもかかわらず,高いエントロピー状態下でのLCMの拒絶挙動を維持するための既存のソリューションが欠如している。 このギャップに対処するために, LLMにおける拒絶動作に温度がどう影響するかを系統的に検討し, 最小付加遅延を伴いながら, モデルが高温でグリーディ復号応答を保持する効率的な逐次復号法を提案する。 実験により,提案手法は3つのベンチマークデータセットのグリーディ復号動作の91～99%を安全なプロンプトのために高温応答を損なうことなく保存することを示した。 本研究では, 高温サンプリングを必要とするアプリケーションに対して, 断熱挙動を効率的に維持する方法を実証する。

関連論文リスト

• Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning [43.29500828702542]
  温度スケールオンポリシィ自己蒸留(TS-OPSD)は、温度の探索効果をモデルパラメータに内包する軽量なポリシー再加熱法である。 TS-OPSDは、モデル自身のロジットに高温スケーリングを適用して自己学習機を構築し、その結果のスムーズな分布を学生に蒸留する。
  論文  参考訳（メタデータ） (2026-05-30T14:44:57Z)
• Improving LLM-based Recommendation with Self-Hard Negatives from Intermediate Layers [80.55429742713623]
  ILRecはLLMベースのレコメンデーションシステムのための新しい好みの微調整フレームワークである。 負の信号に対してトークンレベルの報酬を割り当てるための軽量な協調フィルタリングモデルを提案する。 3つのデータセットの実験は、LLMベースのレコメンデータシステムの性能向上におけるILRecの有効性を示している。
  論文  参考訳（メタデータ） (2026-02-19T14:37:43Z)
• Energy-Driven Steering: Reducing False Refusals in Large Language Models [80.09252175869858]
  エネルギー駆動ステアリング(EDS、Energy-Driven Steering)は、動的で推論時間の介入によってこの問題を解決するために設計された、新しい、微調整自由なフレームワークである。 我々は、望ましくない(偽の拒絶または脱獄)状態に高エネルギーを割り当て、望ましい(好ましくない反応または安全な拒絶)状態に低エネルギーを割り当てるために、軽量な外部エネルギーベースモデル(EBM)を訓練した。 エネルギー関数の勾配を利用してLLMの隠れた状態を低エネルギー領域に動的に操る。
  論文  参考訳（メタデータ） (2025-10-09T06:01:41Z)
• Let it Calm: Exploratory Annealed Decoding for Verifiable Reinforcement Learning [29.277754405630205]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムである。 標準の固定温度サンプリングは単純であるが、高温がサンプルの品質を低下させ、低温が発見を制限するため、これらの競合する要求のバランスをとるのに苦労している。 我々は、早期トークンに最も影響のある探索的アニールデコーディング(EAD)という、よりシンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-06T18:15:43Z)
• Control the Temperature: Selective Sampling for Diverse and High-Quality LLM Outputs [26.477037145228735]
  温度に基づくサンプリングは多様性を高めるための一般的な戦略である。 しかし、例えば min-$p$ や top-$p$ のような制御されていない高温サンプリングは推論品質を低下させる。 そこで本研究では,高温サンプリングとグリーディを切り替える方法であるtextbfselective sampleを提案する。
  論文  参考訳（メタデータ） (2025-09-20T15:16:27Z)
• Progressive Tempering Sampler with Diffusion [50.06039228068602]
  本研究では, 拡散モデルを温度にわたって逐次訓練するニューラルサンプリング器を提案する。 また, 高温拡散モデルを組み合わせて低温試料を近似的に生成する手法を提案する。 本手法は,拡散型ニューラルサンプリングよりも高い精度で目標評価効率を向上する。
  論文  参考訳（メタデータ） (2025-06-05T16:46:04Z)
• Monte Carlo Temperature: a robust sampling strategy for LLM's uncertainty quantification methods [1.3892342684177872]
  本研究では,温度校正の必要性を解消するロバストサンプリング戦略を提案する。 MCTは、幅広い温度でより堅牢な不確実性推定を提供する。 MCTはオラクル温度と統計的に同等であり、これはよく調整されているが計算に費用がかかるHPOプロセスの理想的な結果である。
  論文  参考訳（メタデータ） (2025-02-25T17:33:20Z)
• Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
  モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。 我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
  論文  参考訳（メタデータ） (2024-11-14T18:31:39Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• KL-Divergence Guided Temperature Sampling [5.726259957909055]
  温度が上がると、予測は多様になるが、幻覚にも弱い。 幻覚を緩和するための一般的なアプローチは、ソース/グラウンドのドキュメントを提供することである。 本稿では,デコードステップよりも温度が一定であることの制約を緩和すると共に,その発生源との関係に応じて動的温度を誘導する機構を提案する。
  論文  参考訳（メタデータ） (2023-06-02T06:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。