論文の概要: HaPRL: Human-Anchored Process Reinforcement Learning for Visual Search Agent

• arxiv url: http://arxiv.org/abs/2609.37190v1
• Date: Tue, 29 Sep 2026 10:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.411096
• Title: HaPRL: Human-Anchored Process Reinforcement Learning for Visual Search Agent
• Title（参考訳）: HaPRL:ビジュアルサーチエージェントのための人間によるプロセス強化学習
• Abstract要約: 本稿では,人間の検索行動によって検索プロセスを強化する最初のフレームワークであるHaPRLを紹介する。 トレーニング中、慎重にデザインされた審査員が各ロールアウトをタスク適応重量でスコアし、人間のアノテーターがどうやって同じ画像を検索したかの蒸留された痕跡に固定する。 実験の結果、HaPRLは結果ベースRLより一貫して優れていた。
• 参考スコア（独自算出の注目度）: 14.135012954560707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn visual search agents answer questions about high-resolution images by iteratively deciding where to look. Reinforcement learning for these agents rewards only the final answer, leaving the search process unsupervised. Consequently, faulty routes in which the reasoning process is erroneous yet the final result is correct arise frequently, which in turn leads to ineffective training, i.e., scaling along the wrong paths. In this paper, we introduce HaPRL, the first framework to reinforce the search process with human search behavior. We first build an annotation platform and collect 1K+ human-annotated data with fine-grained behavioral signals. During training, a carefully designed judge scores each rollout with task-adaptive weights, anchored on the distilled trace of how a human annotator actually searched the same image. Extensive experiments show that HaPRL consistently outperforms outcome-based RL, and early-stage process supervision yields 6.7x more improvement in subsequent outcome-based scaling. Our results also demonstrate the importance of aligning model behavior with human process annotation signals, which offer new insight into the training of foundation models.
• Abstract（参考訳）: マルチターンビジュアルサーチエージェントは、視線を反復的に決定することで高解像度画像に関する質問に答える。 これらのエージェントの強化学習は最終回答のみに報酬を与え、検索プロセスは教師なしのままにしておく。 その結果、推論過程が誤っても最終結果が正しくない障害経路が頻繁に発生し、結果として非効率なトレーニング、すなわち間違った経路に沿ってスケールする。 本稿では,人間の検索行動によって検索プロセスを強化する最初のフレームワークであるHaPRLを紹介する。 まず、アノテーションプラットフォームを構築し、1K以上の人による注釈付きデータを詳細な行動信号で収集する。 トレーニング中、慎重にデザインされた審査員が各ロールアウトをタスク適応重量でスコアし、人間のアノテーターがどうやって同じ画像を検索したかの蒸留された痕跡に固定する。 大規模な実験により、HaPRLは結果ベースのRLを一貫して上回り、初期プロセスの監督はその後の結果ベースのスケーリングにおいて6.7倍の改善をもたらすことが示された。 また,本研究の結果は,モデル行動と人間のプロセスアノテーション信号との整合性の重要性も示しており,基礎モデルのトレーニングに関する新たな知見を提供する。

関連論文リスト

• Learning to Retrieve from Agent Trajectories [72.8923565916533]
  我々はエージェント間相互作用データから直接エージェント探索のための検索モデルを訓練すべきであると主張している。 エージェント・トラジェクトリからの学習を新たな訓練パラダイムとして導入し,マルチステップエージェントのインタラクションから指導を導出する。 本研究は,エージェント探索時代における検索の方向性を示すとともに,エージェントトラジェクトリを実用的でスケーラブルな監視源として強調するものである。
  論文  参考訳（メタデータ） (2026-03-30T17:59:02Z)
• Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
  本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。 提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。 本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-03T15:32:09Z)
• Beneficial Reasoning Behaviors in Agentic Search and Effective Post-training to Obtain Them [23.986035712600657]
  エージェント探索における効果的な推論行動パターンを研究するための推論駆動パイプラインを提案する。 我々は,情報検証,権限評価,適応探索,エラー回復の4つの有益な推論行動を特定する。 Llama3.2-3B と Qwen3-1.7B では, RL を用いたエージェントサーチモデルを直接訓練した場合と比較して, 行動プライミングが 35% 以上の利得を示す。
  論文  参考訳（メタデータ） (2025-10-08T00:20:35Z)
• Beyond Outcome Reward: Decoupling Search and Answering Improves LLM Agents [19.31471304268234]
  DeSA(Decoupling Search-and-Answering)は,検索最適化と回答生成を明確に分離する単純な2段階トレーニングフレームワークである。 7つのQAベンチマークで、DeSAがトレーニングしたエージェントは検索の振る舞いを継続的に改善し、結果のみのベースラインよりも検索リコールと回答の精度が大幅に向上した。
  論文  参考訳（メタデータ） (2025-10-06T11:09:45Z)
• ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning [74.65632662894086]
  本稿では,強化学習を通じてLLMをReason with Searchに学習するフレームワークであるReSearchを提案する。 提案手法では,検索操作を推論チェーンの不可欠な要素として扱う。 分析によると、ReSearchは自然にリフレクションや自己訂正のような高度な推論機能を引き出す。
  論文  参考訳（メタデータ） (2025-03-25T09:00:58Z)
• Progressive Monitoring of Generative Model Training Evolution [1.3108652488669736]
  深層生成モデル(DGM)は人気があるが、バイアスやその他の非効率性への感受性は依然として問題である。 DGMのトレーニングプロセスを監視するためのプログレッシブ分析フレームワークを導入する。 本稿では,GAN(Generative Adversarial Network)の早期学習におけるバイアスの特定と緩和を支援する方法を紹介する。
  論文  参考訳（メタデータ） (2024-12-17T10:20:29Z)
• Let's Verify Step by Step [73.58107073356732]
  プロセスの監督は,課題を解決するためのトレーニングモデルにおいて,結果の監督を著しく上回っていることを示す。 我々のモデルは、MATHテストセットの代表部分集合から78%の問題を解く。 また、最高の報酬モデルをトレーニングするために使われる80,000段階の人間フィードバックラベルの完全なデータセットであるPRM800Kをリリースしています。
  論文  参考訳（メタデータ） (2023-05-31T17:24:00Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• A Computational Model of Representation Learning in the Brain Cortex, Integrating Unsupervised and Reinforcement Learning [1.3999481573773074]
  ドーパミンアウトバーストは基底神経節に限らず、前頭前野、運動、高次感覚皮質にまで達する。 我々は、大脳皮質において、同じ報酬に基づく試行錯誤プロセスが運動表現の獲得を支援することを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:03:02Z)
• Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework [51.237191651923666]
  訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。 設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。 シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T17:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。