論文の概要: Abstain-R1: Calibrated Abstention and Post-Refusal Clarification via Verifiable RL

• arxiv url: http://arxiv.org/abs/2604.17073v1
• Date: Sat, 18 Apr 2026 17:21:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.320194
• Title: Abstain-R1: Calibrated Abstention and Post-Refusal Clarification via Verifiable RL
• Title（参考訳）: Abstain-R1:Callibrated Abstention and Post-Refusal Clarification by Verible RL (特集:日本臨床医学会)
• Authors: Skylar Zhai, Jingcheng Liang, Dongyeop Kang,
• Abstract要約: 明確な意味を持つが、与えられた情報から確実に解決できないクエリについて検討する。 提案するRLVR報酬は,要求できないクエリに対して,明示的な棄却と意味論的に整合した事後明確化を報奨する。 この報酬を用いて、3BモデルであるAbstain-R1をトレーニングする。
• 参考スコア（独自算出の注目度）: 18.462748083613757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement fine-tuning improves the reasoning ability of large language models, but it can also encourage them to answer unanswerable queries by guessing or hallucinating missing information. Existing abstention methods either train models to produce generic refusals or encourage follow-up clarifications without verifying whether those clarifications identify the key missing information. We study queries that are clear in meaning but cannot be reliably resolved from the given information, and argue that a reliable model should not only abstain, but also explain what is missing. We propose a clarification-aware RLVR reward that, while rewarding correct answers on answerable queries, jointly optimizes explicit abstention and semantically aligned post-refusal clarification on unanswerable queries. Using this reward, we train Abstain-R1, a 3B model that improves abstention and clarification on unanswerable queries while preserving strong performance on answerable ones. Experiments on Abstain-Test, Abstain-QA, and SelfAware show that Abstain-R1 substantially improves over its base model and achieves unanswerable-query behavior competitive with larger systems including DeepSeek-R1, suggesting that calibrated abstention and clarification can be learned through verifiable rewards rather than emerging from scale alone.
• Abstract（参考訳）: 強化の微調整は、大きな言語モデルの推論能力を向上させるが、不足した情報を推測したり幻覚したりすることで、解決不可能なクエリに答えるよう促すこともできる。 既存の禁忌法は、一般的な拒絶やフォローアップの明確化を促すために、それらの明確化が重要な欠落情報を識別するかどうかを検証せずにモデルを訓練する。 与えられた情報から確実に解決できない明快なクエリについて検討し、信頼性のあるモデルは棄却するだけでなく、何が欠落しているかを説明するべきだと論じる。 本稿では,回答可能なクエリに対する正しい回答を報奨しながら,明示的な棄却と意味論的に一致した要求に対する拒絶後の明確化を協調的に最適化する,明確化対応型RLVR報酬を提案する。 この報酬を用いて、3BモデルであるAbstain-R1をトレーニングする。 Abstain-Test、Abstain-QA、SelfAwareの実験では、Abstain-R1はベースモデルよりも大幅に改善され、DeepSeek-R1のような大規模システムと競合する不可解なクエリ動作が達成されている。

関連論文リスト

• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning [0.0]
  不完全情報の下では、モデルが解答、解答、Ask、Abstainを判断しなければならない。 本稿では,教師付き微調整によりモデル行動と情報満足度を整合させる3つのアクション・フレームワークであるPassiveQAを提案する。 提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
  論文  参考訳（メタデータ） (2026-04-06T09:54:16Z)
• I-CALM: Incentivizing Confidence-Aware Abstention for LLM Hallucination Mitigation [2.688126466709795]
  大規模言語モデル(LLM)は、自信はあるが誤った答えをしばしば生み出す。 モデルを変更することなく、即時のみの介入が幻覚リスクを低減できるかどうかを検討する。 結果から,本フレームワークは質問に対する選択的な回答を,再学習なしに改善できることが示された。
  論文  参考訳（メタデータ） (2026-04-05T00:15:41Z)
• Answering the Wrong Question: Reasoning Trace Inversion for Abstention in LLMs [24.31388053995892]
  推論モデルは禁忌能力が悪くなることが示されている。 失敗に終わった幻覚は、誤った質問に答えるLSMとして再解釈することができる。 我々はTrace Inversionと呼ばれる最先端の禁忌手法を新たに開発する。
  論文  参考訳（メタデータ） (2026-04-02T16:23:46Z)
• Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models [0.0]
  大規模言語モデル(LLM)は、しばしば幻覚的または検証不能なコンテンツを生成し、その信頼性を現実のドメインで損なう。 本研究は,知的謙虚を助長するために,正当性とともに棄権を明言する訓練パラダイムとして,検証リワードを用いた強化学習(RLVR)について検討する。
  論文  参考訳（メタデータ） (2026-01-27T23:42:07Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Critique to Verify: Accurate and Honest Test-Time Scaling with RL-Trained Verifiers [63.99316853136304]
  ミラー・クリティク(Mirror-Critique)は、情報的批評で検証者を訓練する枠組みである。 我々は、高品質な批判データを合成するために、小さな命令調整モデルを展開する。 結果として得られるミラー検証は、ソリューション毎に複数の批判を生成することで、候補ソリューションを評価するためにデプロイされる。
  論文  参考訳（メタデータ） (2025-09-27T06:50:24Z)
• RULE: Reinforcement UnLEarning Achieves Forget-Retain Pareto Optimality [24.299312059430704]
  Unlearningは、スクラッチからトレーニングしたり、全体的なユーティリティを劣化させたりすることなく、モデルから特定の情報を選択的に削除するタスクである。 既存の手法は、しばしばデータセットを大規模に忘れ、保持し、不自然な応答、一般化の貧弱、破滅的なユーティリティ損失に悩まされる。 本稿では,非学習を拒絶境界最適化問題として定式化する効率的なフレームワークであるReinforcement UnLearning (RULE)を提案する。
  論文  参考訳（メタデータ） (2025-06-08T14:38:39Z)
• GRAIT: Gradient-Driven Refusal-Aware Instruction Tuning for Effective Hallucination Mitigation [62.63014905981601]
  Refusal-Aware Instruction Tuning (RAIT) は、Large Language Models (LLM) を強化することを目的としている。 効果的なRAITは、幻覚を最小化するために、未知の質問を効果的に拒否すること、正しく答えられる質問が拒否されないように過度に拒否すること、の2つの主要な課題に対処しなければならない。 GraITは幻覚を効果的に最小化するために勾配駆動型サンプル選択を採用し、(2)微調整中に適応的な重み付け機構を導入し、過剰な拒絶のリスクを低減する。
  論文  参考訳（メタデータ） (2025-02-09T14:11:30Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。