論文の概要: VISTA: Internalizing Collective Visual Experience via On-Policy Distillation for Active Multimodal Agents

• arxiv url: http://arxiv.org/abs/2609.38086v1
• Date: Tue, 29 Sep 2026 17:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.79499
• Title: VISTA: Internalizing Collective Visual Experience via On-Policy Distillation for Active Multimodal Agents
• Title（参考訳）: VISTA: アクティブマルチモーダルエージェントのためのオンライン蒸留による集団視覚体験の内在化
• Abstract要約: アクティブマルチモーダルエージェントは視覚ツールを使用して推論中にタスク関連エビデンスを取得する。 VISTAを導入し、オン・ポリケーション蒸留により集団的な視覚体験を内包する。 VISTAは、同等の大きさのアクティブエージェントの中で最も高い平均性能を達成している。
• 参考スコア（独自算出の注目度）: 16.437618789958563
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Active multimodal agents use visual tools to acquire task-relevant evidence while reasoning. Although reinforcement learning samples multiple interaction trajectories per input, outcome-based objectives primarily use the group to estimate scalar advantages, leaving complementary visual discoveries underused. We introduce VISTA, which internalizes collective visual experience through on-policy distillation by turning observations from same-input rollouts into shared supervision. Collective visual experience distillation (CVED) organizes these observations with their interaction context and aligns them with individual decisions, while heterogeneity-aware policy improvement (HAPI) reinforces successful trajectories and provides experience-guided distillation for unsuccessful attempts. An experience-conditioned teacher evaluates the student's sampled response prefixes, allowing discoveries from one trajectory to guide learning in another without replacing the student's original history or generating new target trajectories. The trained agent retains its visual tools and acts using its own interaction history. VISTA achieves the strongest average performance among the evaluated active multimodal agents of comparable size and consistently outperforms same-backbone training baselines across fine-grained perception and general reasoning tasks, demonstrating the value of collective experience for active multimodal learning.
• Abstract（参考訳）: アクティブマルチモーダルエージェントは視覚ツールを使用して推論中にタスク関連エビデンスを取得する。 強化学習は入力毎に複数の相互作用軌跡をサンプリングするが、結果に基づく目的は主にスカラーの利点を推定するためにグループを用いており、相補的な視覚的発見が過小評価されている。 VISTAは,同出力ロールアウトからの観察を共有監視に転換することで,オンライン蒸留を通じて集合的な視覚体験を内包する。 集団的視覚経験蒸留(CVED)は、これらの観察を相互作用の文脈で整理し、個々の決定と整合させ、一方、不均一性に配慮した政策改善(HAPI)は軌道を補強し、失敗した試みに対して経験誘導蒸留を提供する。 経験条件付き教師は、生徒のサンプル化された応答接頭辞を評価し、生徒の本来の履歴を置き換えたり、新たな目標軌跡を生成することなく、ある軌跡からの発見を他の軌跡に導くことができる。 訓練されたエージェントは、その視覚ツールを保持し、独自のインタラクション履歴を使用して行動する。 VISTAは、評価されたマルチモーダルエージェントの中で最も高い平均性能を達成し、より詳細な認識と一般的な推論タスクを通して、同一バックボーントレーニングベースラインを一貫して上回り、アクティブマルチモーダル学習における集合的体験の価値を実証する。

関連論文リスト

• PATH-Bench: Path-Dependent Evaluation of Lifelong Agents [27.837334107109786]
  PATH-Benchは、生涯エージェントのパス依存評価のためのベンチマークである。 SEU(Selective Experience Use)は,経路蓄積経験が各タスクにどのように影響するかを制御するエージェントハーネスである。
  論文  参考訳（メタデータ） (2026-08-02T11:00:04Z)
• CLIP-Guided Adaptable Self-Supervised Learning for Human-Centric Visual Tasks [76.00315860962885]
  CLASP (CLIP-guided Adaptable Self-su Pervised Learning) は、人中心視覚タスクにおける教師なし事前学習のための新しいフレームワークである。 CLASPは強力な視覚言語モデルCLIPを利用して、低レベル(体の部分など)と高レベル(属性など)のセマンティックな擬似ラベルを生成する。 MoEはタスク固有のプロンプトに基づいて機能抽出を動的に適応し、潜在的な機能競合を緩和し、転送可能性を高める。
  論文  参考訳（メタデータ） (2026-01-19T15:19:28Z)
• Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors [10.454194186065195]
  強化学習はロボット制御タスクにおいて有望な成果を上げてきたが、情報の有効活用に苦慮している。 最近の研究は、複数の感覚入力から関節表現を抽出するために、再構成や相互情報に基づく補助的損失を構築している。 生のマルチモーダル観測について,学習した共同表現で情報を圧縮することが有用である。
  論文  参考訳（メタデータ） (2024-10-23T04:32:37Z)
• Visual Hindsight Self-Imitation Learning for Interactive Navigation [18.02337761240743]
  本稿では,視覚的ハイビジョン・セルフ・イミテーション・ラーニング(VHS)を提案する。 VHSはインタラクティブなビジュアルナビゲーションタスクにおいて、既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-05T05:34:12Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Focalized Contrastive View-invariant Learning for Self-supervised Skeleton-based Action Recognition [16.412306012741354]
  本稿では,FoCoViL(Focalized Contrastive View-invariant Learning)という自己教師型フレームワークを提案する。 FoCoViLは、視点が粗い整列された表現空間上のビュー固有情報を著しく抑制する。 アクションと共通のビュー不変プロパティを関連付け、異種プロパティを同時に分離する。
  論文  参考訳（メタデータ） (2023-04-03T10:12:30Z)
• Imitation from Observation With Bootstrapped Contrastive Learning [12.048166025000976]
  IfO(IfO)は、マルコフ決定プロセスにおいて自律エージェントを訓練する学習パラダイムである。 本稿では,OfOアルゴリズムであるBootIfOLについて紹介する。 我々は,限られた数の実証軌道を用いて効果的な政策を訓練できることを示す,様々な制御タスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-02-13T17:32:17Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering [71.15403434929915]
  視覚的質問応答のタスクにおいて、5つのモデルと4つのデータセットにまたがって、多種多様な能動的学習アプローチがランダム選択を上回りません。 アクティブな学習手法が好まれるが、モデルは学習に失敗する例の集まりである。 本研究では,アクティブ学習プールにおける集団外乱の減少に伴い,アクティブ学習サンプル効率が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-07-06T00:52:11Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)
• Self-supervised Co-training for Video Representation Learning [103.69904379356413]
  実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。 本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。 本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
  論文  参考訳（メタデータ） (2020-10-19T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。