論文の概要: FALCA: Falsification-Aware Reinforcement Learning with Hierarchical Credit Assignment for Long-Horizon Deep Search Agents

• arxiv url: http://arxiv.org/abs/2610.28361v1
• Date: Tue, 20 Oct 2026 15:24:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.884907
• Title: FALCA: Falsification-Aware Reinforcement Learning with Hierarchical Credit Assignment for Long-Horizon Deep Search Agents
• Title（参考訳）: FALCA:長距離ディープサーチエージェントのための階層的クレジットアサインメントを用いたFalsification-Aware Reinforcement Learning
• Abstract要約: 本稿では,Falsification-awareフレームワークであるFALCAを提案する。 FALCAはコラボレーティブなSearcher-Falsifierアーキテクチャを採用している。 FALCAは、バックボーン上での長距離深部探索性能を改善し、アブレーションを有効活用することを示す。
• 参考スコア（独自算出の注目度）: 13.663372147262159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon deep search requires LLM agents to iteratively decompose complex information needs, gather evidence from external sources, and maintain a reliable research state under multiple constraints. A central challenge is that early mistakes can be amplified over the search trajectory: agents may anchor on an incorrect candidate, collect partially supporting evidence, overlook contradictions, and accumulate errors that misguide subsequent reasoning. We propose FALCA, a falsification-aware framework that formulates deep search as a propose-falsify process. FALCA adopts a collaborative Searcher-Falsifier architecture, where the Searcher proposes candidate answers or sub-answers, while independent Falsifiers actively seek counterevidence, check unmet constraints, identify conflicts, and produce concise falsification reports for research-state revision. To strengthen this loop, we introduce falsification-aware training, combining SFT warmup on falsification trajectories with agentic RL based on parallel rollouts and hierarchical credit assignment over research stages, state transitions, and actions. Experiments on five search benchmarks show that FALCA improves long-horizon deep search performance over backbone and harness ablations, while reducing confirmation bias and error accumulation through more effective falsification and research-state revision.
• Abstract（参考訳）: ロングホライズンディープサーチでは、LSMエージェントが複雑な情報要求を反復的に分解し、外部からの証拠を収集し、複数の制約の下で信頼性の高い研究状態を維持する必要がある。 エージェントは不正な候補に固執し、部分的に支持された証拠を集め、矛盾を見落とし、その後の推論を誤る誤りを蓄積する。 本稿では,Falsification-awareフレームワークであるFALCAを提案する。 FALCAはコラボレーティブなSearcher-Falsifierアーキテクチャを採用しており、検索者は候補回答やサブ回答を提案し、独立したFalsifierは積極的に正当性を求め、制約を確認し、矛盾を識別し、研究状態の修正のために簡潔なFalsificationレポートを生成する。 このループを強化するために,Falsification-Aware Trainingを導入し,Falsification trajectories上のSFTウォームアップとエージェントRLを組み合わせた並列ロールアウトと,研究段階,状態遷移,行動に対する階層的クレジット割り当てを提案する。 5つの検索ベンチマーク実験により、FALCAは、より効果的なファルシフィケーションと研究状態の修正により、検証バイアスとエラー蓄積を低減しつつ、バックボーンよりも長い水平深度探索性能を向上することが示された。

関連論文リスト

• EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
  我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。 EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
  論文  参考訳（メタデータ） (2026-09-02T21:00:35Z)
• Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
  ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。 本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。 我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
  論文  参考訳（メタデータ） (2026-08-03T08:46:48Z)
• AREX: Towards a Recursively Self-Improving Agent for Deep Research [75.96468303743958]
  本稿では,再帰的自己改善型ディープリサーチエージェントであるAREXを紹介する。 AREXは、証拠を集め、暫定的な回答を構築する内部研究ループを交互に構成する。 我々は,エージェント学習と長期強化学習を通じて,AREXを検証済みの合成タスクと高品質な軌道上で訓練する。
  論文  参考訳（メタデータ） (2026-07-23T16:05:46Z)
• Is Deep Research Reliable? Misleading Knowledge Induces False Conclusions [29.22067195388263]
  ディープ・リサーチ・エージェントは、反復的に計画し、証拠を回収し、報告を作成することで、長期調査を行う。 明らかに信用できるが、事実としてこれらの防衛に導入された偽情報に抵抗できるかどうかは不明だ。 MisKnow-Agentは、手作業による偽結論の監査を支援するタスク固有文書を構築するフレームワークである。
  論文  参考訳（メタデータ） (2026-07-23T03:28:08Z)
• Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
  最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。 2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。 我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:26Z)
• SAAS: Self-Aware Reinforcement Learning for Over-Search Mitigation in Agentic Search [38.532946868233736]
  エージェントサーチにより、LLMは反復推論と外部探索によって複雑なマルチホップ問題を解くことができる。 有効性にもかかわらず、これらのシステムは実際は限界に悩まされることが多い。 本稿では,探索行動を正確に制御し,精度を損なうことなく,動的自己認識を実現するための新しいRLフレームワークであるSAASを提案する。
  論文  参考訳（メタデータ） (2026-05-28T11:45:45Z)
• From Fluent to Verifiable: Claim-Level Auditability for Deep Research Agents [8.49451413641847]
  研究生成が安価になるにつれて、監査可能性がボトルネックになる、と我々は主張する。 この観点からは,ディープリサーチエージェントの第一級設計および評価対象として,クレームレベルの監査性を提案する。
  論文  参考訳（メタデータ） (2026-02-14T19:39:15Z)
• Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards [60.0970117192627]
  強化学習(Reinforcement Learning, RL)は, LLMに基づくディープサーチエージェントの強化に重要な手法である。 既存のアプローチは主にバイナリ結果の報酬に依存しており、エージェントの推論プロセスの包括性と事実性を捉えていない。 ディープサーチエージェントのための微粒化報酬フレームワークである textbfCitation-aware RL Rewards (CaRR) を提案する。
  論文  参考訳（メタデータ） (2026-01-09T18:57:53Z)
• Coordinating Search-Informed Reasoning and Reasoning-Guided Search in Claim Verification [16.655011153015202]
  マルチホップクレーム検証のための階層型エージェント推論と情報検索(HARIS)を提案する。 HARISは、主検証チェーンの構築に集中し、より多くの情報が必要な場合に事実質問を生成する高レベル推論エージェントと、より多くの情報を反復的に検索する低レベル検索エージェントから構成される。 EX-FEVER と HOVER のベンチマーク実験の結果,HARIS は高い性能を示した。
  論文  参考訳（メタデータ） (2025-06-09T08:11:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。