論文の概要: Ask, Condition or Abstain: Reinforcement Learning for Missing-Premise Reasoning

• arxiv url: http://arxiv.org/abs/2608.16554v2
• Date: Mon, 24 Aug 2026 04:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.882989
• Title: Ask, Condition or Abstain: Reinforcement Learning for Missing-Premise Reasoning
• Title（参考訳）: Ask, Condition or Abstain:Reinforcement Learning for Missing-Premise Reasoning
• Authors: Yongqi Tong, Zhenyu Zhang, Zimi Liu, Kewei Fu, Mingli Song, Haofei Zhang, Junshao Zhang, Hong Zhu, Jiang-Ming Yang, Xin Zhang, Jianshe Li,
• Abstract要約: 本稿では,データ拡張RLフレームワークであるemphAsk-Condition-Abstain Reinforcement Learning (ACA-RL)を提案する。 その推論グラフ誘導パイプラインは、適切な問題をローカライズされたギャップアノテーションを備えた不足前提のトレーニングインスタンスに変換する。 EmphMissing-Premise Benchmark (MPB)も導入しています。
• 参考スコア（独自算出の注目度）: 44.87905259927536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answer-only reinforcement learning (RL) trains reasoning models to solve fully specified problems, but many realistic queries omit a premise needed for a unique answer. In this setting, the useful response is not always refusal: the model should ask for the missing premise, condition its answer on the unknown quantity, or abstain when no informative conditional response is available. We present \emph{Ask-Condition-Abstain Reinforcement Learning} (ACA-RL), a data-augmented RL framework for this setting. Its reasoning-graph-guided pipeline converts well-posed problems into missing-premise training instances with localized gap annotations; ACA-RL then trains on these instances with a structured reward over five observable response behaviors. We also introduce the \emph{Missing-Premise Benchmark} (MPB), a 274-instance human-verified benchmark spanning mathematical, logical, and real-world word problems. Across Qwen3 and Llama models, ACA-RL consistently improves on MPB while preserving competitive performance on well-posed reasoning tasks. Together with the released code, MPB, and training data, this work supports a new mission for NLP evaluation: measuring whether models can recognize when a task is underdetermined and handle uncertainty, not only whether they can answer fully specified questions.
• Abstract（参考訳）: 解答のみ強化学習(RL)は、完全に指定された問題を解決するために推論モデルを訓練するが、多くの現実的なクエリは、ユニークな答えに必要な前提を省略する。 この設定では、有用な応答は、必ずしも拒否されるわけではない。モデルは、欠落した前提、未知の量に対する応答条件、または、情報的条件応答が得られない場合の停止を要求すべきである。 本稿では,データ強化RLフレームワークである \emph{Ask-Condition-Abstain Reinforcement Learning} (ACA-RL) を提案する。 その推論グラフ誘導パイプラインは、よく提示された問題を、局所的なギャップアノテーションを備えた不足前提のトレーニングインスタンスに変換し、ACA-RLは、5つの観測可能な応答動作に対して構造化された報酬でこれらのインスタンスをトレーニングする。 また,数理的,論理的,実世界の単語問題にまたがる274インスタンスの人間検証ベンチマークである \emph{Missing-Premise Benchmark} (MPB) を導入する。 Qwen3 と Llama のモデル全体では、ACA-RL はMPB の競争性能を維持しつつ、常に改善されている。 この研究は、リリースされたコード、MPB、トレーニングデータとともに、NLP評価のための新しいミッションをサポートする。

関連論文リスト

• HiL-Bench (Human-in-Loop Benchmark): Do Agents Know When to Ask for Help? [32.54022440678003]
  コーディングエージェントは、完全なコンテキストが与えられたときに複雑なタスクを解決します。 現在のベンチマークは、この障害モードに盲目です。 我々はこの選択的エスカレーションスキルを測定するためにHiL-Benchを提案する。
  論文  参考訳（メタデータ） (2026-04-10T15:21:44Z)
• Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models [78.68818219506313]
  本稿では,複数解に対する分布推論を行うための多解補足学習手法について述べる。 質問応答, 診断, コーディングベンチマークを通じて, 単一回答学習ベースラインと比較して, 多様性, カバレッジ, 設定レベルの校正スコアが向上した。
  論文  参考訳（メタデータ） (2026-03-25T22:20:25Z)
• Semantic Soft Bootstrapping: Long Context Reasoning in LLMs without Reinforcement Learning [46.765013720309064]
  大規模言語モデル(LLM)における長期文脈推論は、チェーン・オブ・ソート(CoT)推論による認知能力の向上を実証している。 このようなモデルのトレーニングは通常、数学やプログラミングのような推論に基づく問題において、検証可能な報酬(RLVR)を用いた強化学習によって行われる。 我々は,教師と学生の両方の役割を同一のベース言語モデルで担う自己蒸留技術であるtextbfSemantic Soft Bootstrapping (SSB) を提案する。
  論文  参考訳（メタデータ） (2025-12-04T18:59:18Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• Improving Large Language Models via Fine-grained Reinforcement Learning with Minimum Editing Constraint [104.53687944498155]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練に広く用いられている。 本稿では,報酬モデルとして生成モデルを組み込んだRL法 RLMEC を提案する。 生成報酬モデルに基づいて、トレーニングのためのトークンレベルRL目標と、RLプロセスの安定化のための模倣ベース正規化を設計する。
  論文  参考訳（メタデータ） (2024-01-11T17:58:41Z)
• Logically Consistent Loss for Visual Question Answering [66.83963844316561]
  ニューラルネットワークに基づく視覚質問応答(VQA)の現在の進歩は、同じ分布(すなわち、d)の仮定による一貫性を保証することができない。 マルチタスク学習フレームワークにおける論理的一貫した損失を定式化することにより,この問題に対処するための新しいモデルに依存しない論理制約を提案する。 実験により、提案された損失公式とハイブリッドバッチの導入により、一貫性が向上し、性能が向上することを確認した。
  論文  参考訳（メタデータ） (2020-11-19T20:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。