論文の概要: PIVOT: Pivot-Aware On Policy Self Distillation for Multi-Turn VLM Agents

• arxiv url: http://arxiv.org/abs/2609.35303v1
• Date: Mon, 28 Sep 2026 14:43:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:41:11.248845
• Title: PIVOT: Pivot-Aware On Policy Self Distillation for Multi-Turn VLM Agents
• Title（参考訳）: PIVOT:マルチターンVLMエージェントの政策自己蒸留に関するPivot-Aware
• Abstract要約: RLVRを用いた強化学習のためのPivot-Aware internalized Visual On-Policy Training (PIVOT) を提案する。 PIVOTは、ピボットローカライゼーションと状態復元を直接トークンレベルのパラメータ更新に内部化し、RLトレーニング中の環境のロールバックを排除し、テスト時に追加のスキルヒントを提供する。 認知グリッドパズルにまたがる5つのマルチターンVLMエージェントタスク、制御とナビゲーションの3次元具体化、生成的推論について評価した。
• 参考スコア（独自算出の注目度）: 37.88404190729647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) via Group-Relative Policy Optimization (GRPO) is widely used for multi-turn VLM agent training, yet it suffers from zero-gradient silence on uniform failures and coarse episode-level credit assignment. While On-Policy Distillation (OPD) and On-Policy Self-Distillation (OPSD) mitigate sparse rewards using hindsight information, their underlying mechanisms remain poorly understood. Through controlled counterfactual rollback probes across five multi-turn VLM agent benchmarks, we reveal that performance gains in OPSD/OPD are largely driven by physical state rollback at the pivot step, defined as the first unrecoverable action without remaining step budget. However, physical state rollbacks are computationally prohibitive and infeasible in real-world environments. To bridge this gap, we present Pivot-Aware Internalized Visual On-Policy Training (PIVOT), an RL framework that internalizes pivot localization and state restoration directly into token-level parameter updates, eliminating environment rollbacks during RL training and additional skill hints at test time. PIVOT unifies three functional roles within a single architecture: a failure Analyzer non-invasively localizes the pivot step and diagnoses failure modes from visual trajectory collages and action logs; a detached Teacher re-scores failed tokens under this privileged diagnostic context; and a Student optimizes joint GRPO and confidence-gated OPD objectives. At test time, both Teacher and Analyzer branches are stripped. Evaluated on five multi-turn VLM agent tasks across cognitive grid puzzles, 3D embodied control and navigation, and generative reasoning, PIVOT achieves 0.90 overall accuracy on Qwen2.5-VL-3B (+8% over SFT+GRPO baseline and +5% over previous SOTA) and scales to 0.92 on Qwen3-VL-2B (+12% over SFT+GRPO baseline).
• Abstract（参考訳）: グループ相対政策最適化(GRPO)を介して検証可能な報酬付き強化学習(RLVR)は、マルチターンVLMエージェントトレーニングに広く用いられているが、均一な障害に対するゼロ段階の沈黙と、エピソードレベルのクレジット割り当てに悩まされている。 On-Policy Distillation (OPD) と On-Policy Self-Distillation (OPSD) は、後視情報を用いてスパース報酬を緩和するが、その基盤となるメカニズムはよく分かっていない。 5つのマルチターンVLMエージェントベンチマークの反ファクトロールバックの制御により、OPSD/OPDの性能向上は、ステップ予算を残さずに最初の発見不可能なアクションとして定義されたピボットステップにおける物理的状態のロールバックによって大きく左右されることが明らかとなった。 しかし、物理状態のロールバックは計算的に禁止され、現実の環境では不可能である。 このギャップを埋めるために、Pivot-Aware Internalized Visual On-Policy Training (PIVOT) というRLフレームワークを紹介します。 PIVOTは、単一アーキテクチャ内の3つの機能的役割を統一する: 障害解析者は、ピボットステップを非侵襲的にローカライズし、視覚的トラジェクトリコラージュとアクションログから障害モードを診断する。 テスト時には、教師とアナライザーの両方のブランチが削除される。 認知グリッドパズルにまたがる5つのマルチターンVLMエージェントタスク、3Dエンボディドコントロールとナビゲーション、および生成的推論に基づいて評価され、PIVOTはQwen2.5-VL-3B(SFT+GRPOベースラインより+8%、以前のSOTAより+5%)で0.90の精度を達成し、Qwen3-VL-2B(SFT+GRPOベースラインより+12%)で0.92にスケールする。

関連論文リスト

• FIRE-VLA: Failure-Informed Self-Evolution for Vision-Language-Action Models in Autonomous Driving [1.4298580363875282]
  グループ相対ポリシー最適化は、各ロールアウトグループ内の報酬差から学習する。 Fire-VLAは、未解決の失敗を次のポリシーの特権的な監督に変換する。 150の保持されたnuScenesシーンの6,019の例では、FIRE-VLAは同等の単一サンプルプランニングを維持している。
  論文  参考訳（メタデータ） (2026-08-13T15:53:24Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• AERO: Autonomous Evolutionary Reasoning Optimization via Endogenous Dual-Loop Feedback [27.681632584269707]
  以下は「アンダーライン・アンダーライン・エボリューショナリー・アンダーライン・アンダーライン・オプティマイゼーション(AERO)」である。 AEROは、シナジスティックなデュアルループシステムの中で、自己問合せ、回答、批判を内部化する。
  論文  参考訳（メタデータ） (2026-02-03T04:14:23Z)
• PROPA: Toward Process-level Optimization in Visual Reasoning via Reinforcement Learning [30.44007644340425]
  本稿では,モンテカルロ木探索 (MCTS) とGRPOを統合した新しいフレームワーク PROPA について紹介する。 7つのベンチマークと4つのVLMバックボーンで、PROPAはSFTとRLVRベースのベースラインを一貫して上回っている。 ドメイン内タスクで最大17.0%、ドメイン外タスクで最大21.0%のゲインを達成する。
  論文  参考訳（メタデータ） (2025-11-13T13:06:12Z)
• Self-Improving Vision-Language-Action Models with Data Generation via Residual RL [29.682761652941963]
  Probe, Learn, Distill (PLD)は3段階のプラグイン・アンド・プレイフレームワークで、視覚言語アクションモデルを改善する。 PLDはLIBEROでほぼ飽和した99%のタスク成功、SimplerEnvで50%以上、実世界のFrankaとYAMのアーム操作タスクで100%成功している。
  論文  参考訳（メタデータ） (2025-10-30T06:24:04Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Perception-Aware Policy Optimization for Multimodal Reasoning [79.56070395437898]
  現在のマルチモーダル推論における誤りの主な原因は、視覚入力の知覚にある。 提案するPAPOは,モデルが推論を学習しながら知覚を学習することを奨励する,新しいポリシー勾配アルゴリズムである。 知覚誤りの30.5%が有意に減少し,PAPOによる知覚能力の向上が示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:22:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。