論文の概要: Hybrid Advantage Estimation with Unified Critic for VLM Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.23605v1
• Date: Sun, 26 Jul 2026 11:16:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.168609
• Title: Hybrid Advantage Estimation with Unified Critic for VLM Agentic Reinforcement Learning
• Title（参考訳）: VLMエージェント強化学習のための統一批評家によるハイブリッドアドバンテージ推定
• Abstract要約: HyGAEは、トークンとターンレベルの目的を、ハイブリッドのアドバンテージと統一された批判とともに共同で最適化するアクタ批判フレームワークである。 平均成功率は91%であり、他の手法に比べて10%も大幅に改善されている。
• 参考スコア（独自算出の注目度）: 69.23931086069983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (VLMs) now act as agents in interactive environments, where success requires coherent reasoning and decision-making across turns. Although end-to-end training in agentic environments can improve such multi-turn decision-making abilities, current methods mainly rely on either token-wise optimization over concatenated token trajectories or turn-wise optimization with uniform within-turn credit. In this work, we establish theoretical formulations for the two levels of optimization and derive a hybrid advantage that serves both objectives. Furthermore, with an appropriate choice of discount factor and learning target, we prove that a unified critic model can estimate values for both turn-wise and token-wise. As such, we propose HyGAE, an actor-critic framework that jointly optimizes token- and turn-level objectives with the hybrid advantage and unified critic. We conduct extensive evaluations of HyGAE across five multi-turn decision-making environments, where it achieves an average success rate of 91% and a significant improvement of 10% over other methods. Furthermore, we provide an in-depth analysis showing that the exact analytic form of the hybrid advantage and return is crucial for optimization. Project Page: https://wx-zhang.github.io/hygae-web/.
• Abstract（参考訳）: VLM(Large Vision-Language Models)は、今では対話的な環境においてエージェントとして機能し、成功にはターン間の一貫性のある推論と意思決定が必要である。 エージェント環境におけるエンドツーエンドのトレーニングは、このようなマルチターン意思決定能力を改善することができるが、現在の手法は主に、連結されたトークン軌跡よりもトークンワイズを最適化するか、均一なインターンクレジットを持つターンワイズを最適化するかに依存する。 本研究では,2段階の最適化を理論的に定式化し,両目的を兼ね備えたハイブリッド・アドバンテージを導出する。 さらに、ディスカウント係数と学習目標の適切な選択により、統一された批評家モデルがターンワイドとトークンワイドの両方の値を推定できることを証明した。 そこで我々は,ハイガエ(HyGAE)を提案する。ハイガエ(HyGAE)は,トークンとターンレベルの目的を協調的に最適化し,ハイガエ(HyGAE)とハイガエ(HyGAE)とハイガエ(HyGAE)を併用する。 我々は,5つのマルチターン意思決定環境においてHyGAEを広範囲に評価し,平均成功率91%,他の手法に比べて10%の大幅な改善を実現した。 さらに,ハイブリッド・アドバンテージとリターンの正確な解析形式が最適化に不可欠であることを示す。 Project Page: https://wx-zhang.github.io/hygae-web/.com

関連論文リスト

• Enhancing Bayesian Optimization and Active Learning Through Kernel Diversity [13.065036862403966]
  本稿では, Ensemble Gaussian Processes (EGP) と不一致認識獲得戦略を統合した統合フレームワーク KENDO を提案する。 KENDO-BOは最先端の手法と比較して、競争力や優れた最適化性能を達成している。
  論文  参考訳（メタデータ） (2026-08-25T15:35:47Z)
• Towards Pareto-Optimal Tool-Integrated Agents with Pareto Ranking Policy Optimization [54.855135506924775]
  ツールを用いた大規模言語モデル(LLM)を競合する目的の下で整列するための2段階多目的最適化フレームワークを提案する。 この設計は、複数の矛盾する目的に対してきめ細かいアクションレベルの最適化を可能にする。
  論文  参考訳（メタデータ） (2026-06-15T01:58:07Z)
• Pragmatic Curiosity: A Hybrid Learning-Optimization Paradigm via Active Inference [20.135421015458817]
  実用的好奇心」は、能動的推論から派生したハイブリッド学習最適化パラダイムである。 実世界の様々なハイブリッドタスクにおける実用性と実践的好奇心の柔軟性を実証する。
  論文  参考訳（メタデータ） (2026-02-05T18:42:29Z)
• Surrogate Ensemble in Expensive Multi-Objective Optimization via Deep Q-Learning [17.84264663466905]
  サロゲート支援進化アルゴリズム(SAEA)は、高価な最適化問題を解く上で有望な堅牢性を示している。 SAEAsの有効性に影響を与える重要な側面は、モデル選択の代理である。 一つの最適化プロセス内で異なる代理モデルをスケジューリングできるSEEMOOと呼ばれる強化学習支援アンサンブルフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-31T06:14:27Z)
• Optimizers Qualitatively Alter Solutions And We Should Leverage This [62.662640460717476]
  ディープニューラルネットワーク(DNN)は、SGDのようなローカル情報のみを使用する場合、損失のグローバルな最小限に収束することを保証できない。 コミュニティは、既存のメソッドのバイアスを理解すること、また、ソリューションの特定の特性を誘発する明示的な意図で、新しいDNNを構築することを目的としている。
  論文  参考訳（メタデータ） (2025-07-16T13:33:31Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Preference-Guided Diffusion for Multi-Objective Offline Optimization [64.08326521234228]
  オフライン多目的最適化のための優先誘導拡散モデルを提案する。 我々の指導は、ある設計が他の設計を支配する確率を予測するために訓練された選好モデルである。 本結果は,多種多様な高品質な解を生成する上での分類器誘導拡散モデルの有効性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-21T16:49:38Z)
• MOHPER: Multi-objective Hyperparameter Optimization Framework for E-commerce Retrieval System [1.4323566945483497]
  MOHPERはeコマースサイトの多目的最適化フレームワークである。 クリックスルーレート(CTR)、クリックスルー変換レート(CTCVR)、関連する目的を共同で最適化する。 これは、ユーザの満足度と収益目標の両方に合わせたバランスの取れた最適化を達成する上で、その実用的効果を裏付けるものだ。
  論文  参考訳（メタデータ） (2025-03-07T08:25:08Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• Active Learning and Bayesian Optimization: a Unified Perspective to Learn with a Goal [0.0]
  本稿では,適応サンプリング,アクティブラーニング,ベイズ最適化の膨大なファミリー間の類似点と相違点を明らかにするために,適応サンプリング手法の一般的な分類を提案する。 様々なベンチマーク問題に対するベイズスキームの性能を調査する学習基準を適用するためのガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-03-02T20:22:40Z)
• Optimization-Derived Learning with Essential Convergence Analysis of Training and Hyper-training [52.39882976848064]
  固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。 GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
  論文  参考訳（メタデータ） (2022-06-16T01:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。