Fugu-MT 論文翻訳(概要): Reinforcement Learning for Large Language Model Selective Evidence Adoption from Contaminated Retrieval Results

論文の概要: Reinforcement Learning for Large Language Model Selective Evidence Adoption from Contaminated Retrieval Results

arxiv url: http://arxiv.org/abs/2607.20090v1
Date: Wed, 22 Jul 2026 12:45:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-23 18:51:38.07762
Title: Reinforcement Learning for Large Language Model Selective Evidence Adoption from Contaminated Retrieval Results
Title（参考訳）: 大規模言語モデル選択エビデンス導入のための検索結果からの強化学習
Abstract要約: 検索可能な拡張された大きな言語モデルは、誤解を招くステートメントや命令ライクなコンテンツと有用なエビデンスをインターリーブするコンテキストに直面します。本稿では,選択的エビデンス導入のためのベンチマークとトレーニングセットであるSelectBenchと,DAPOを直接使用したQwen3.5-4Bについて紹介する。修正された325例のSelectBench-v2テストセットでは、オリジナルのチェックポイントで22.46%から、DAPO-Ruleで25.54%、DAPO-DeepSeekで26.46%に厳格な成功を収めた。
参考スコア（独自算出の注目度）: 3.9964880913101677
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Retrieval-augmented large language models frequently face contexts that interleave useful evidence with misleading statements or instruction-like content. Blanket refusal discards valid evidence, whereas uncritical adoption yields incorrect or unsafe answers. The ability to selectively adopt relevant information while rejecting deceptive or harmful content is therefore critical for reliable deployment in real-world retrieval settings. We introduce SelectBench, a controlled benchmark and training set for selective evidence adoption, and post-train Qwen3.5-4B directly with DAPO using either deterministic rule rewards or a frozen semantic judge. On the corrected 325-example SelectBench-v2 test set, strict success rises from 22.46% for the original checkpoint to 25.54% with DAPO-Rule and 26.46% with DAPO-DeepSeek. Both trained policies reduce forbidden-content adoption and produce shorter, more focused responses, yet prompt-injection following does not improve. The paired gains are modest and fail to survive Holm correction, suggesting that stronger reward shaping or additional training iterations may be needed for more robust gains. DAPO-DeepSeek exhibits no material degradation on MMLU or clean HotpotQA, indicating that the post-training procedure preserves general capabilities. These results demonstrate a directional improvement in selective evidence use, while identifying injection resistance and statistical robustness as important remaining challenges for future work.
Abstract（参考訳）: 検索可能な拡張された大きな言語モデルは、しばしば、誤解を招く文や命令のような内容で有用な証拠をインターリーブするコンテキストに直面する。ブランケットは有効な証拠を破棄するが、批判的でない養子縁組は誤ったあるいは安全でない答えをもたらす。したがって、偽りや有害なコンテンツを拒絶しながら、関連情報を選択的に採用する能力は、現実世界の検索設定における信頼性の高い展開に不可欠である。本稿では,選択的エビデンス導入のためのベンチマークとトレーニングセットであるSelectBenchと,決定論的ルール報酬あるいはフリーズセマンティックジャッジを用いてDAPOと直接トレーニング後のQwen3.5-4Bを紹介する。修正された325例のSelectBench-v2テストセットでは、オリジナルのチェックポイントで22.46%から、DAPO-Ruleで25.54%、DAPO-DeepSeekで26.46%に厳格な成功を収めた。両方の訓練されたポリシーは、禁じられたコンテンツの採用を減らし、より短くより集中したレスポンスを生み出すが、迅速なインジェクションは改善しない。ペアゲインは控えめであり、ホルムの補正に成功せず、より強力な報酬形成や追加のトレーニングイテレーションがより堅牢なゲインのために必要とされる可能性があることを示唆している。 DAPO-DeepSeekはMMLUやきれいなHotpotQAに材料劣化を示さず、ポストトレーニング手順が一般的な能力を保っていることを示している。これらの結果から, 選択的エビデンスの使用の方向性が向上し, 今後の課題として, 射出抵抗と統計的頑健性が確認された。

関連論文リスト

AERA: Adaptive Evidence Residual Allocation for Efficient Test-Time Reasoning [22.964476507912327]
テストタイムスケーリングは、追加の候補ソリューションを生成することによって言語モデル推論を改善するが、すべての問題に同じ推論予算を割り当てることは、計算的に無駄である。チェックポイントレベルの正しさは非単調に進化し、解答が崩壊する前に観測可能な証拠が強化され、回復前に弱まる可能性があることを示す。本稿では,チェックポイント・オブザーバブル・エビデンスから,さらなる計算がより良い解が得られるかどうかを学習するシーケンシャル・コントローラであるアダプティブ・エビデンス・レシデンス・アロケーション(AERA)を紹介する。
論文参考訳（メタデータ） (2026-08-28T06:21:07Z)
TTPO: Test-Time Policy Optimization [53.81524570216593]
テストタイムポリシー最適化(TTPO)は、OPSDを介してロールアウトに同意し、Grouped RLと不一致なロールアウトを罰する非対称な目的である。 TTPOは5つの競合レベルのベンチマークでラベル管理されたOPSDと一致し、Qwen3-1.7Bは38.0%から45.2%まで上昇し、思考せずに+25.2%から+36.4%に上昇し、クロスタスクの一般化を示す。
論文参考訳（メタデータ） (2026-08-27T17:58:10Z)
Learning What to Fail On: Failure-Mode Contextual Bandits for Adversarial Data Curation [14.914697247710622]
本稿では,自然言語理解における頑健性向上を目的とした,障害対応の逆探索強化フレームワークを提案する。 SNLIではRoBERTaベースの精度が88.48%から92.60%,ANLIでは75.04%から80.95%,MultiNLIでは54.67%から71.99%に向上した。我々は、RoBERTa-largeを用いて、最大79.86%のFEVERスコアと82.45%の精度でFEVERの事実検証を行う。
論文参考訳（メタデータ） (2026-08-19T08:31:15Z)
An Empirical Study of Reward Specification and Benchmark Reliability in GRPO-based LLM Unlearning [0.0]
未学習は2つの目的により評価される: 目標固有の知識を抑え、非目標ユーティリティを保存する。ターゲットに隣接したプロンプトが、ターゲット固有のリークを伴わずに、より広い回答を認めた場合、モデルは、リーク、回避、拒否よりも、そのレベルで答えるべきである。我々は,SFTウォームアップの有無にかかわらず,語彙抑制,反拒絶型シェーピング,ルーリックベース広義回答,明示的拒絶コントラストの4つの報奨設計を比較した。
論文参考訳（メタデータ） (2026-08-18T14:04:29Z)
EvidentialRAG: Quantifying and Mitigating Information Conflict in Multi-Source Retrieval-Augmented Generation via Evidential Deep Learning [0.2730969268472861]
本稿では,取得したチャンクを生成前に確率的証拠に変換する不確実性を考慮したRAGフレームワークであるERAGを紹介する。 CRAG、ConflictQA、MuSiQueの実験は、ERAGが標準質問応答における最強一致ベースラインと競争力を維持していることを示している。
論文参考訳（メタデータ） (2026-07-11T21:56:15Z)
When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。学習は、答えが振動し、正しさの証拠が広がる場所を給与する。コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
論文参考訳（メタデータ） (2026-06-29T19:33:42Z)
Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning [63.24624171679711]
大規模言語モデル(LLM)ベースのエージェントは、しばしば最適なツール使用の決定を行う。本研究では、不確実性分離を維持するための推進力として、不確実性定量化を報酬設計に組み込んだTRUSTを提案する。
論文参考訳（メタデータ） (2026-06-05T07:08:34Z)
CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
論文参考訳（メタデータ） (2026-05-19T06:46:19Z)
Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文参考訳（メタデータ） (2026-04-03T15:19:46Z)
Reinforcement Inference: Leveraging Uncertainty for Self-Correcting Language Model Reasoning [0.0]
強化推論(Reinforcement Inference)は、モデル自身の不確実性を使用して、第二の、より意図的な推論の試みを選択的に呼び出す。 12,032のMMLU-Pro質問では、DeepSeek-v3.2を使ってゼロショット設定で決定論的デコーディングを行い、Reinforcement Inferenceは精度を60.72%から84.03%に改善した。
論文参考訳（メタデータ） (2026-02-09T11:08:24Z)
GRACE: Reinforcement Learning for Grounded Response and Abstention under Contextual Evidence [9.80421132842862]
Retrieval-Augmented Generation (RAG)は、外部知識を統合してLarge Language Models (LLM)を強化する RAGは、明確な根拠のない正しい答えを提供することと、検索された文脈が不十分な場合に製造された応答を生成するという2つの重大な欠陥に感受性がある。本稿では,両方の欠陥を同時に軽減する強化学習フレームワークGRACEを提案する。
論文参考訳（メタデータ） (2026-01-08T02:47:33Z)
Knowing the Answer Isn't Enough: Fixing Reasoning Path Failures in LVLMs [85.37131922131657]
我々はLVLM(Large Vision-Language Models)の重大な欠陥を明らかにした。これらのモデルが正しい答えを知っていても、誤った推論経路を通じて頻繁にそこに到達します。 PSO(Path-Select Optimization)は,既存のLVLMの推論性能と安定性を両立させる2段階のポストトレーニングフレームワークである。
論文参考訳（メタデータ） (2025-12-06T03:02:55Z)
RefusalBench: Generative Evaluation of Selective Refusal in Grounded Language Models [43.76961935990733]
欠陥のあるシステムに基づいて、言語モデルが回答を拒否する能力は、依然として重大な障害点である。 RefusalBenchは、制御された言語コンテキストを通して診断テストケースを作成するジェネレーティブな方法論である。選択的な拒絶は、改善への明確な道筋を提供する列車で、アライメントに敏感な能力であることがわかった。
論文参考訳（メタデータ） (2025-10-12T00:53:42Z)
Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
論文参考訳（メタデータ） (2024-10-26T14:24:37Z)
Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文参考訳（メタデータ） (2023-06-14T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。