論文の概要: EviBack: Search-Agent Reinforcement Learning via Evidence-Constrained Teacher Backoff
- arxiv url: http://arxiv.org/abs/2607.23955v1
- Date: Mon, 27 Jul 2026 02:59:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.292996
- Title: EviBack: Search-Agent Reinforcement Learning via Evidence-Constrained Teacher Backoff
- Title（参考訳）: EviBack:Evidence-Constrained Teacher Backoffによる検索エージェント強化学習
- Abstract要約: EviBackはエビデンスに制約のある教師のバックオフで、そのようなグループに補助的なスーパービジョンを提供する。
完全に自動化されたエンドツーエンドの GPT- 5.5 アシスト APE パイプラインは、手動で書かれたシングルプロンプトのデュアルタスクの教師から始まる。
- 参考スコア（独自算出の注目度）: 9.712278999107538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning enables Agentic RAG systems to learn multi-turn search from verifiable outcome rewards, but all- zero rollout groups provide no comparative signal and may hide useful search behavior. We present EviBack, an evidence- constrained Teacher backoff that supplies auxiliary super- vision to such groups while preserving verifiable Actor re- wards. It separates evidence assessment from answer refine- ment, preventing reference answers from overriding evidence- insufficiency judgments. A fully automated, end-to-end GPT- 5.5-assisted APE pipeline starts from a manually authored single-prompt dual-task Teacher, automatically partitions and labels rollout data, and performs ablation, task decomposition, evaluation, and selection to produce a gated two-stage Teacher. Compared with the manual design, the resulting Teacher im- proves downstream F1 and valid-answer rate while reduc- ing search, duplicate queries, and forced termination. Across seven open-domain QA benchmarks and three Qwen3 scales, EviBack improves F1 over Search-R1 and raises both single- and multi-hop macro F1. We guarantee that the code will be made publicly available at a later stage.
- Abstract（参考訳）: 強化学習により、エージェントRAGシステムは検証可能な結果報酬からマルチターン探索を学習できるが、全ゼロロールアウトグループは比較信号を提供しず、有用な探索行動を隠すことができる。
EviBackはエビデンスに制約のある教師のバックオフで、アクターの再病棟を維持しながら、そのようなグループに補助的なスーパービジョンを提供する。
それは、証拠評価を答えの精査から切り離し、基準回答が証拠の過度な判断を覆すのを防ぐ。
完全に自動化されたエンドツーエンドのGPT- 5.5-assisted APEパイプラインは、手動で作成したシングルプロンプトのデュアルタスクの教師から始まり、ロールアウトデータを自動的に分割、ラベル付けし、アブレーション、タスク分解、評価、選択を行い、ゲートされた2段階の教師を生成する。
手動設計と比較して、結果のTeacher im-は、入力検索、重複クエリ、強制終了の間、下流F1と有効な回答率を証明する。
7つのオープンドメインのQAベンチマークと3つのQwen3スケールで、EviBackはSearch-R1よりもF1を改善し、シングルホップとマルチホップのマクロF1を上昇させる。
後段の段階では、コードが公開されることを保証します。
関連論文リスト
- RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。
本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
論文 参考訳（メタデータ） (2026-08-25T08:35:04Z) - SearchMaster: Grounded and Regulated Self-Play for Search Agents [57.537666863340284]
検索エージェントの訓練には高品質な検索データが必要である。
既存のパイプラインは、人手によるタスクや専門家によるデモンストレーション、より強力な教師モデルに依存していることが多い。
本稿では,ローカル検索環境における検索タスクから,単一のLLMをトレーニングするセルフプレイフレームワークであるSearchMasterを提案する。
論文 参考訳（メタデータ） (2026-08-03T07:29:11Z) - EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents [28.95182429824442]
我々はエビデンス条件の自己蒸留フレームワークであるEviSDを提案する。
検索アクションや黄金の回答のための特権情報として、インスタンスレベルのサポートエビデンスを使用している。
EviSDは、評価されたすべての設定において、マクロ平均のExact Matchを最高に達成する。
論文 参考訳（メタデータ） (2026-08-02T16:22:27Z) - DynaKRAG: A Unified Framework for Learnable Evidence Control in Multi-Hop Retrieval-Augmented Generation [12.710406983346013]
DynaKRAGは、原子のエビデンス操作に対する状態条件制御として、マルチホップエビデンス獲得を定式化している。
Qwen2.5-7B-Instructでは、DynaKRAGはHotpotQAで0.5998、2Wikiで0.5340、MuSiQueで0.3061のスコアを達成している。
論文 参考訳（メタデータ） (2026-07-07T17:09:36Z) - Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers [25.040339775169883]
本研究では,無条件学生の教師として,ルーリックに条件付けされた基本方針が機能する検証不要な学習方法を提案する。
Qwen-2.5 (3B, 7B) と Qwen3-Thinking (4B, 8B) の医療分野におけるモデル全体で、RGSD は審査ベースの RuricO に匹敵する満足度を達成している。
論文 参考訳（メタデータ） (2026-06-10T17:53:19Z) - HKVM-RAG: Key-Value-Separated Hypergraph Evidence Organization for Multi-Hop RAG [5.749820809225301]
固定された検索予算の下では、システムは検索したテキストを、応答連鎖を公開するエビデンス単位に整理する必要がある。
本稿では,鍵値分離型エビデンス組織層であるHKVM-RAGについて述べる。
論文 参考訳（メタデータ） (2026-06-05T12:31:13Z) - QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
クエリとルーブリックを共同設計するフレームワークを提案する。
QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
論文 参考訳（メタデータ） (2026-06-02T17:53:04Z) - CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。
この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
論文 参考訳（メタデータ） (2026-04-19T17:48:17Z) - The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning [54.67958855362658]
複雑な構造化クエリを用いたアンラーニングテストを強調する動的フレームワークを提案する。
提案手法はまず,対象モデル(事前学習)から知識を抽出し,単純なクエリからマルチホップチェーンまで,対象プローブを構築する。
本フレームワークは,テストセットを手作業で構築することなく,非学習手法の実用的でスケーラブルな評価を可能にする。
論文 参考訳（メタデータ） (2026-03-11T19:51:33Z) - Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。
そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
論文 参考訳（メタデータ） (2022-06-21T18:16:31Z) - Unsupervised Alignment-based Iterative Evidence Retrieval for Multi-hop
Question Answering [40.58976291178477]
本稿では,単純で高速かつ教師なしの反復的証拠検索手法を提案する。
その単純さにもかかわらず,提案手法はエビデンス選択タスクにおいて,従来の手法よりも優れていた。
これらのエビデンス文をRoBERTaの回答分類コンポーネントに入力すると、最先端のQA性能が得られる。
論文 参考訳（メタデータ） (2020-05-04T00:19:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。