論文の概要: ClueFlow: Learning Long-Horizon Search through Attributed Research-State Transitions

• arxiv url: http://arxiv.org/abs/2610.25980v1
• Date: Mon, 19 Oct 2026 08:07:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 03:14:35.345401
• Title: ClueFlow: Learning Long-Horizon Search through Attributed Research-State Transitions
• Title（参考訳）: ClueFlow: 分散リサーチ-状態遷移によるロングホライゾン検索の学習
• Abstract要約: ロングホライゾン探索では、エージェントが関連する証拠を取得し、それを進化する研究状態に統合する必要がある。 本稿では,属性付研究状態遷移から長期探索を学習するClueFlowを紹介する。
• 参考スコア（独自算出の注目度）: 23.917992236182574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon search requires agents to acquire relevant evidence and integrate it into an evolving research state. Existing methods maintain research states to guide exploration or assign turn-level progress signals, yet grounding these signals in explicit, attributable state changes remains underexplored. We introduce ClueFlow, which learns long-horizon search from attributed research-state transitions. ClueFlow constructs Source-State-Final attribution chains that connect evidence-acquiring browser actions, Evidence and Candidate updates, and the final answer supported by those updates. During search, ClueFlow records typed state changes and potentially supporting browser actions, then applies gold-conditioned semantic validation and source tracing after execution. We use this attribution to guide both supervised fine-tuning and reinforcement learning. During SFT, attribution selects which decisions receive supervision with their original interaction contexts. During Turn-PPO, the same attribution augments outcome-based turn advantages with credit assigned along the Source-State-Final chains. Transition-level validation also recovers useful supervision from gold-consistent state changes in trajectories with incorrect final answers. We evaluate ClueFlow across two Qwen backbones and four search benchmarks spanning live-web and fixed-corpus settings, observing consistent gains from SFT and further improvements from PPO. With Qwen3.5-35B-A3B, ClueFlow achieves 60.0% accuracy on BrowseComp and 72.0% on BrowseComp-Plus. In controlled BrowseComp-Plus experiments, attribution-guided SFT matches all-turn exact-context SFT using about 30% of the training tokens, while attribution-guided PPO outperforms outcome-only PPO by 4.1 pp. These results demonstrate that state-transition attribution enables efficient supervision and effective credit assignment for long-horizon search agents.
• Abstract（参考訳）: ロングホライゾン探索では、エージェントが関連する証拠を取得し、それを進化する研究状態に統合する必要がある。 既存の方法では、探索を指導したり、ターンレベルの進行信号を割り当てる研究状態を維持しているが、これらのシグナルを明示的で帰属的な状態変化で根拠づけることは、まだ未解明のままである。 本稿では,属性付研究状態遷移から長期探索を学習するClueFlowを紹介する。 ClueFlowは、エビデンスを取得可能なブラウザアクション、EvidenceとCandidateの更新、およびこれらのアップデートでサポートされている最終的な回答を接続するソース状態属性チェーンを構築する。 検索中、ClueFlowは型付き状態の変更を記録し、ブラウザアクションをサポートする可能性がある。 我々はこの属性を用いて教師付き微調整と強化学習の両方を指導する。 SFTの間、属性はどの決定が元のインタラクションコンテキストの監督を受けるかを選択する。 Turn-PPOの間、同じ属性は、ソース-ステート-ファイナルチェーンに沿って割り当てられたクレジットで結果ベースのターンの利点を増大させる。 遷移レベルの検証はまた、誤った最終回答を持つ軌跡におけるゴールド一貫性のある状態変化から有用な監視を回復する。 我々は、Qwenのバックボーン2つと、ライブWebと固定コーパス設定にまたがる4つの検索ベンチマークでClueFlowを評価し、SFTによる一貫した利得とPPOによるさらなる改善を観察した。 Qwen3.5-35B-A3Bでは、ClueFlowはBrowseCompで60.0%、BrowseComp-Plusで72.0%の精度を達成した。 制御されたBrowseComp-Plus実験では、帰属誘導SFTはトレーニングトークンの約30%を用いて全ターン完全テキストSFTと一致し、帰属誘導PPOは結果のみPPOを4.1ppで上回る。 これらの結果は,長期探索エージェントの効率的な監督と効果的なクレジット割り当てを可能にすることを示す。

関連論文リスト

• ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open-Ended Agent RL [83.01251140361684]
  強化学習は、検証可能な領域における大きな言語モデル(LLM)エージェントを大幅に改善したが、オープンエンドエージェントタスクに適用することは困難である。 エージェント強化学習のための階層的信用伝搬フレームワークであるArenaFlowを提案する。
  論文  参考訳（メタデータ） (2026-09-18T06:44:44Z)
• EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
  我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。 EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
  論文  参考訳（メタデータ） (2026-09-02T21:00:35Z)
• MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents [26.262385802144323]
  プロセスレベルの信用を3つの設計を通じてグループ化されたオン・ポリティクス・ロールアウトから導き出すMileGPOを提案する。 MileGPOは補助モデルも追加の環境相互作用も必要としない。
  論文  参考訳（メタデータ） (2026-08-20T08:58:27Z)
• Success Leaves Detours: Learning Executable Walkthroughs for Long-Horizon Agents [11.833965746124408]
  テストタイムの自己進化エージェントは過去の経験を再利用することで改善されるが、スパース・リワード・トラジェクトリには障害、ループ、デトゥールが含まれる。 我々は、ノイズの多いトラジェクトリを実行可能なウォークスルーメモリにコンパイルする依存基盤フレームワークであるTraceを提案する。 J-TTL、WebShop、ScienceWorldの3つのオープンソースのLCMによる実験によると、トレースは8つのテスト時間学習とメモリベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-08-20T01:10:11Z)
• TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents [22.01777615106231]
  Long-Horizon Large Language Model (LLM) エージェントは通常、スパース終端結果に最適化される。 本稿では、ステップレベルの監督を行動誘発遷移から直接引き出すトランジッションワイド・クレジット・アサインメントを提案する。 ALFWorld、WebShop、および7つの検索拡張された質問回答ベンチマークの実験は、評価されたベースラインよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-08-17T06:19:12Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• LOTAPO: Leave-One-Turn Attribution for Self-Generated Process Rewards in Multi-Turn Search Reasoning [12.013691798765594]
  LOTAPOは、後戻り一ターン属性に基づく自己生成プロセススーパービジョン手法である。 各検索ターンに対して、LOTAPOはターンとその検索観察を固定[DELETE]プレースホルダーで置き換える。 このAnswer-Likelihood Gainは、すべての下流相互作用を保存しながらターンの寄与を推定する。
  論文  参考訳（メタデータ） (2026-07-15T06:55:28Z)
• DynaKRAG: A Unified Framework for Learnable Evidence Control in Multi-Hop Retrieval-Augmented Generation [12.710406983346013]
  DynaKRAGは、原子のエビデンス操作に対する状態条件制御として、マルチホップエビデンス獲得を定式化している。 Qwen2.5-7B-Instructでは、DynaKRAGはHotpotQAで0.5998、2Wikiで0.5340、MuSiQueで0.3061のスコアを達成している。
  論文  参考訳（メタデータ） (2026-07-07T17:09:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。