論文の概要: Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models
- arxiv url: http://arxiv.org/abs/2610.30435v1
- Date: Wed, 21 Oct 2026 20:46:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.132623
- Title: Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models
- Title（参考訳）: 検索型大規模言語モデルにおける検索状態認識のための自己評価強化学習
- Abstract要約: 自己評価強化学習(Self-Assessment Reinforcement Learning, SARL)は、訓練中に自分の検索状態を認識することを学ぶ強化学習フレームワークである。
SARLは最強のベースラインに対して24.3%の相対的な改善を達成し、マルチホップ推論では平均35.9%、ディープリサーチベンチマークでは27.9%となっている。
- 参考スコア（独自算出の注目度）: 30.47592517785313
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in search agents have enabled large language models to tackle complex tasks by retrieving and synthesizing external information. However, existing search agents often lack search-state awareness, i.e., the ability to recognize what information has been obtained and what remains missing, leading to hallucinated reasoning and prematurely terminated search. To address this limitation, we propose Self-Assessment Reinforcement Learning (SARL), a reinforcement learning framework in which models learn to recognize their own search state during training and improve their search behavior accordingly, without requiring additional assessment at test time. SARL achieves this through a dual reward design that captures the corrective effect of each assessment while penalizing excessive reliance on it, jointly encouraging effective and efficient search trajectories. Under this setup, SARL achieves a 24.3% relative improvement over the strongest baseline, with average gains of 35.9% on multi-hop reasoning and 27.9% on deep research benchmarks against the strongest per-benchmark baselines. SARL further surpasses methods built on auxiliary supervision or multi-agent coordination, despite operating as a standalone RL framework with no inference-time scaffolding. Beyond final performance, SARL maintains training stability under extended search horizons, a regime where existing methods consistently degrade, enabling sustained gains as task complexity grows.
- Abstract（参考訳）: 近年の検索エージェントの進歩により、外部情報の検索と合成により、大規模な言語モデルで複雑なタスクに対処できるようになった。
しかし、既存の検索エージェントは検索状態の認識を欠くことが多く、すなわち、どの情報が得られたのか、何が欠けているのかを認識する能力が欠落し、幻覚的な推論と早めに検索が終了する。
この制限に対処するために,モデルが学習中に自分の検索状態を認識し,それに応じて検索行動を改善するための強化学習フレームワークである自己評価強化学習(SARL)を提案する。
SARLは、過剰な依存を罰しながら評価の補正効果を捉え、効果的で効率的な探索軌道を共同で奨励する二重報酬設計によってこれを達成している。
この設定の下では、SARLは最強のベースラインに対して24.3%の相対的な改善を達成し、マルチホップ推論では平均35.9%、最強のベンチマークでは27.9%となっている。
SARLはさらに、推論時の足場を持たないスタンドアロンのRLフレームワークとして運用されているにもかかわらず、補助的な監督やマルチエージェント調整のための手法を超越している。
最終的なパフォーマンスに加えて、SARLは、既存のメソッドが常に劣化し、タスクの複雑さが増大するにつれて、持続的なゲインを可能にする体制である、拡張された検索地平線の下でのトレーニングの安定性を維持している。
関連論文リスト
- ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment [66.45065414461274]
ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。
本稿では,長距離検索エージェントを訓練するためのきめ細かい信用割当てフレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。
ABCは、スパース軌跡レベルの結果を、誤動作や冗長な動作を抑えながら、有用な動作(たとえ軌道が失敗しても)を報いるような、密度の高いステップレベルの監視に変換する。
論文 参考訳（メタデータ） (2026-08-05T17:41:31Z) - SAAS: Self-Aware Reinforcement Learning for Over-Search Mitigation in Agentic Search [38.532946868233736]
エージェントサーチにより、LLMは反復推論と外部探索によって複雑なマルチホップ問題を解くことができる。
有効性にもかかわらず、これらのシステムは実際は限界に悩まされることが多い。
本稿では,探索行動を正確に制御し,精度を損なうことなく,動的自己認識を実現するための新しいRLフレームワークであるSAASを提案する。
論文 参考訳（メタデータ） (2026-05-28T11:45:45Z) - AutoSearch: Adaptive Search Depth for Efficient Agentic RAG via Reinforcement Learning [52.305422887002656]
本稿では,自己生成中間回答を用いて各探索ステップを評価する強化学習フレームワークを提案する。
自己回答機構により、AutoSearchは最小限の検索深度を特定し、効率的な検索を促進する。
実験の結果、AutoSearchは検索品質を維持しながら過剰検索を軽減し、精度と効率のトレードオフが優れていることがわかった。
論文 参考訳（メタデータ） (2026-04-19T09:05:48Z) - Cycle-Consistent Search: Question Reconstructability as a Proxy Reward for Search Agent Training [80.20022221643414]
Cycle-Consistent Searchは、検索エージェントを訓練するための金色のスーパービジョンのないフレームワークである。
CCSは教師付きベースラインに匹敵する性能を示す。
これらの結果から,CCSは金の監督が不可能な環境で検索エージェントを訓練するためのスケーラブルな訓練パラダイムを提供する可能性が示唆された。
論文 参考訳（メタデータ） (2026-04-14T17:00:18Z) - KARL: Knowledge Agents via Reinforcement Learning [63.627906947205624]
本稿では,強化学習による企業検索エージェントの訓練システムを提案する。
KARLBenchは、6つの異なる検索レギュレーションにまたがる多機能評価スイートである。
異種探索行動で訓練されたモデルは、どのベンチマークにも最適化されたモデルよりもかなりよく一般化されていることを示す。
論文 参考訳（メタデータ） (2026-03-05T14:30:25Z) - Empowering RepoQA-Agent based on Reinforcement Learning Driven by Monte-carlo Tree Search [70.63903518295785]
モンテカルロ木探索によるエージェント強化学習フレームワークRepoSearch-R1を紹介する。
RepoSearch-R1に基づいて,リポジトリ質問応答タスク用に設計されたRepoQA-Agentを構築する。
論文 参考訳（メタデータ） (2025-10-30T09:10:36Z) - Beyond Correctness: Rewarding Faithful Reasoning in Retrieval-Augmented Generation [21.72639961371058]
本稿では,RLに基づく検索エージェントを評価するための総合的な評価フレームワークを提案する。
忠実な推論を促進するために,よりきめ細かな忠実さ報酬を強化学習プロセスに統合する新しい枠組みであるVERITASを紹介する。
論文 参考訳（メタデータ） (2025-10-15T08:17:52Z) - Beyond Outcome Reward: Decoupling Search and Answering Improves LLM Agents [19.31471304268234]
DeSA(Decoupling Search-and-Answering)は,検索最適化と回答生成を明確に分離する単純な2段階トレーニングフレームワークである。
7つのQAベンチマークで、DeSAがトレーニングしたエージェントは検索の振る舞いを継続的に改善し、結果のみのベースラインよりも検索リコールと回答の精度が大幅に向上した。
論文 参考訳（メタデータ） (2025-10-06T11:09:45Z) - Search Wisely: Mitigating Sub-optimal Agentic Searches By Reducing Uncertainty [21.96443267949563]
エージェント検索型Augmented Generation (RAG) システムは,動的かつ多段階の推論と情報検索を可能にし,Large Language Models (LLM) を強化する。
これらのシステムは、オーバーサーチ(冗長な情報を取得する)やアンダーサーチ(必要な情報を取得するのに失敗する)のような準最適探索行動を示すことが多い。
この研究は、これらの振る舞いを公式に定義し、定量化し、複数のQAデータセットとエージェントRAGシステムにまたがるそれらの頻度を明らかにする。
論文 参考訳（メタデータ） (2025-05-22T20:57:56Z) - URLB: Unsupervised Reinforcement Learning Benchmark [82.36060735454647]
教師なし強化学習ベンチマーク(URLB)を紹介する。
URLBは2つのフェーズで構成されている。
評価のために3つのドメインから12の連続制御タスクを提供し、8つの主要な教師なしRLメソッドに対してオープンソースコードを提供する。
論文 参考訳（メタデータ） (2021-10-28T15:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。