論文の概要: ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

• arxiv url: http://arxiv.org/abs/2608.05102v1
• Date: Wed, 05 Aug 2026 17:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:44.061681
• Title: ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment
• Title（参考訳）: ABSeeker: Answer-Backtracked Credit Assignmentによる長距離検索エージェントのトレーニング
• Authors: Yijun Lu, Rui Ye, Jiajun Wang, Yuwen Du, Tian Jin, Songhua Liu, Siheng Chen,
• Abstract要約: ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。 本稿では,長距離検索エージェントを訓練するためのきめ細かい信用割当てフレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。 ABCは、スパース軌跡レベルの結果を、誤動作や冗長な動作を抑えながら、有用な動作(たとえ軌道が失敗しても)を報いるような、密度の高いステップレベルの監視に変換する。
• 参考スコア（独自算出の注目度）: 66.45065414461274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon search agents must make multiple sequential actions (steps) to search, retrieve, verify, and integrate evidence to reach a final answer. However, existing methods for training these agents typically treat all steps within a trajectory uniformly during both supervised fine-tuning (SFT) and reinforcement learning (RL), failing to distinguish useful actions from erroneous or redundant ones. In this paper, we propose Answer-Backtracked Credit Assignment (ABC), a fine-grained credit assignment framework for training long-horizon search agents by converting sparse trajectory-level outcomes into dense step-level supervision that rewards useful actions (even in failed trajectories) while suppressing erroneous or redundant actions. Specifically, given a potentially obscure query and its corresponding ground-truth answer, ABC first performs Answer-Backtracked Clue Recovery, which traces back from the answer to recover intermediate clues required to solve the question. It then applies Clue-Anchored Step Scoring to evaluate each search step against these clues, converting sparse binary outcome supervision into dense step-level rewards. Based on these rewards, we develop ABC-SFT, which reweights the loss of each turn, and ABC-GRPO, which uses the step-level scores as rewards in GRPO. Building on this framework, we train ABSeeker based on Qwen3.5-4B with only 8.5k examples. ABSeeker achieves 37.3% on BrowseComp and 39.1% on BrowseComp-ZH. With context management, the scores further improve to 55.3% and 52.9%, respectively, significantly outperforming same-scale (4B) agents and even matching the performance of larger ones (approximately 30B). These results demonstrate the effectiveness of answer-backtracked step-level credit assignment for training long-horizon search agents.
• Abstract（参考訳）: ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。 しかしながら、これらのエージェントを訓練するための既存の方法は、典型的には、教師付き微調整(SFT)と強化学習(RL)の両方において、軌道内のすべてのステップを均一に扱うが、誤動作や冗長な動作とは区別できない。 本稿では,不適切な行為や冗長な行為を抑えつつ,有用な行為(トラジェクトリが失敗しても)を報いるような,スパーストラジェクトリレベルの結果を高密度ステップレベルの監視に変換することで,長距離検索エージェントを訓練するための微粒な信用割当フレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。 具体的には、潜在的に不明瞭なクエリとそれに対応する地味な回答を前提として、ABCは最初にAnswer-Backtracked Clue Recoveryを実行する。 次にClue-Anchored Step Scoringを適用して、これらのヒントに対して各検索ステップを評価する。 これらの報奨に基づき、各ターンの損失を重み付けするABC-SFTと、GRPOの報酬としてステップレベルスコアを使用するABC-GRPOを開発する。 このフレームワークをベースとして、Qwen3.5-4Bに基づいてABSeekerを8.5kのサンプルでトレーニングします。 ABSeekerはBrowseCompで37.3%、BrowseComp-ZHで39.1%を達成した。 文脈管理では、スコアは55.3%と52.9%に向上し、同じ規模(4B)のエージェントを著しく上回り、より大きなエージェント(約30B)のパフォーマンスに匹敵する。 これらの結果は,長期探索エージェントの訓練におけるステップレベルクレジット割当ての有効性を示した。

関連論文リスト

• BiCAA: Bidirectional Credit Assignment for Search-Augmented Agent [7.0011576165695]
  BiCAAは、前向きの可解性向上と後続の成功臨界という2つの相補的なシグナルを融合することによって、双方向のプロセス報酬を構築する。 検索強化されたQAベンチマークの実験では、BiCAAはポリシー最適化を安定化し、冗長な探索動作を低減し、競争性能を達成する。
  論文  参考訳（メタデータ） (2026-08-02T15:41:57Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• Cycle-Consistent Search: Question Reconstructability as a Proxy Reward for Search Agent Training [80.20022221643414]
  Cycle-Consistent Searchは、検索エージェントを訓練するための金色のスーパービジョンのないフレームワークである。 CCSは教師付きベースラインに匹敵する性能を示す。 これらの結果から,CCSは金の監督が不可能な環境で検索エージェントを訓練するためのスケーラブルな訓練パラダイムを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-04-14T17:00:18Z)
• Training Multi-Turn Search Agent via Contrastive Dynamic Branch Sampling [29.182538022605627]
  Branching Relative Policy Optimization (BranPO) は、高額な報酬なしで段階レベルのコントラスト管理を提供する価値のない手法である。 BranPOは尾部付近の軌跡を切断し、他の連続をサンプリングし、共有接頭辞の上に対照的な接尾辞を構成する。 さらに効率を向上し、トレーニングを安定させるために、タスク間の分岐周波数に適応する難易度分岐サンプリングと、不正な動作を抑制するために冗長なステップマスキングを導入する。
  論文  参考訳（メタデータ） (2026-02-03T16:43:09Z)
• RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents [144.5598958575922]
  Re-TRACはクロス軌道探索を行うエージェントフレームワークである。 Re-TRAC は BrowseComp とフロンティア LLM で連続して ReAct を 15-20% 上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-02T18:58:07Z)
• Beyond Outcome Reward: Decoupling Search and Answering Improves LLM Agents [19.31471304268234]
  DeSA(Decoupling Search-and-Answering)は,検索最適化と回答生成を明確に分離する単純な2段階トレーニングフレームワークである。 7つのQAベンチマークで、DeSAがトレーニングしたエージェントは検索の振る舞いを継続的に改善し、結果のみのベースラインよりも検索リコールと回答の精度が大幅に向上した。
  論文  参考訳（メタデータ） (2025-10-06T11:09:45Z)
• RLVMR: Reinforcement Learning with Verifiable Meta-Reasoning Rewards for Robust Long-Horizon Agents [43.806220882212386]
  RLVMRは、検証可能なメタ推論の振る舞いに報いることによって、密集したプロセスレベルの監視をエンドツーエンドのRLに統合する。 挑戦的なALFWorldとScienceWorldのベンチマークでは、RLVMRが新たな最先端の結果を達成している。
  論文  参考訳（メタデータ） (2025-07-30T17:00:48Z)
• RRO: LLM Agent Optimization Through Rising Reward Trajectories [52.579992804584464]
  大規模言語モデル (LLM) は様々なタスクにおいて異常な性能を示した。 実際には、エージェントは特定の重要なステップの結果に敏感で、タスクを失敗する可能性がある。 この問題を軽減するために,Reward Rising Optimization (RRO)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:27:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。