論文の概要: To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.10738v1
• Date: Sun, 12 Jul 2026 12:43:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.519394
• Title: To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learning
• Title（参考訳）: 意識的強化学習による探索的幻覚の軽減
• Abstract要約: AWA-RLは、モデルのクエリ固有の事前機能を使用して、棄権報酬を動的に形成する。 AWA-RLは絶対精度を最大10.3%、RA-F1全体を2.9%向上させる。 その結果, AWA-RLは高能率で信頼性の高い検索エージェントを得られることがわかった。
• 参考スコア（独自算出の注目度）: 20.267226736362158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in equipping Large Language Models (LLMs) with search tools and outcome-reward reinforcement learning (RL) have achieved new state-of-the-art results on open-domain QA tasks. However, we argue that current training paradigms harbor a critical vulnerability: they predominantly reward correct answers but fail to penalize fabricated ones when retrieval fails, thereby implicitly exacerbating hallucinations. To address this, we propose Abstention-Aware Reinforcement Learning (AWA-RL), which dynamically shapes the abstention reward utilizing the model's query-specific prior capabilities and continuous on-policy training observations. We also introduce a novel metric, RA-F1, to measure the capability-reliability trade-off. Compared to non-abstaining baselines, AWA-RL boosts absolute precision by up to 10.3% and overall RA-F1 by 2.9%, with only marginal sacrifice in raw accuracy. These results confirm that AWA-RL successfully yields highly capable and reliable search agents. The code, data, and model weights are publicly available at https://github.com/zfj1998/AWA-RL.
• Abstract（参考訳）: 大規模言語モデル(LLM)に検索ツールと結果回帰学習(RL)を組み込むことの最近の進歩は、オープンドメインQAタスクにおける新しい最先端の成果を達成している。 しかし、現在の訓練パラダイムは、主に正しい答えを報いるが、検索に失敗すると偽りの答えを罰することができないため、暗黙的に幻覚を悪化させるという、重大な脆弱性がある、と我々は主張する。 そこで本研究では,AWA-RL(Abstention-Aware Reinforcement Learning)を提案する。 また,信頼性と信頼性のトレードオフを測定するための新しい指標であるRA-F1を導入する。 非持続性ベースラインと比較して、AWA-RLは絶対精度を10.3%まで引き上げ、RA-F1全体を2.9%引き上げる。 これらの結果から, AWA-RLは高能率で信頼性の高い検索エージェントを得られることが確認された。 コード、データ、モデルウェイトはhttps://github.com/zfj1998/AWA-RL.comで公開されている。

関連論文リスト

• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Abstain-R1: Calibrated Abstention and Post-Refusal Clarification via Verifiable RL [18.462748083613757]
  明確な意味を持つが、与えられた情報から確実に解決できないクエリについて検討する。 提案するRLVR報酬は,要求できないクエリに対して,明示的な棄却と意味論的に整合した事後明確化を報奨する。 この報酬を用いて、3BモデルであるAbstain-R1をトレーニングする。
  論文  参考訳（メタデータ） (2026-04-18T17:21:40Z)
• Context Bootstrapped Reinforcement Learning [51.213972559315486]
  Reinforcement Learning from Verifiable Rewards (RLVR) は、探索の非効率さに悩まされている。 我々は,数発のデモをトレーニングプロンプトに先立ってRLVRトレーニングを増強するContextped Bootstrapped Reinforcement Learning (CBRL)を提案する。 CBRLは、成功率を一貫して改善し、探索効率を向上し、アルゴリズムに依存しない。
  論文  参考訳（メタデータ） (2026-03-19T14:23:59Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models [0.0]
  大規模言語モデル(LLM)は、しばしば幻覚的または検証不能なコンテンツを生成し、その信頼性を現実のドメインで損なう。 本研究は,知的謙虚を助長するために,正当性とともに棄権を明言する訓練パラダイムとして,検証リワードを用いた強化学習(RLVR)について検討する。
  論文  参考訳（メタデータ） (2026-01-27T23:42:07Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。