論文の概要: Enhancing Visual Planning with Auxiliary Tasks and Multi-token Prediction

• arxiv url: http://arxiv.org/abs/2507.15130v1
• Date: Sun, 20 Jul 2025 21:39:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.207379
• Title: Enhancing Visual Planning with Auxiliary Tasks and Multi-token Prediction
• Title（参考訳）: 補助課題による視覚計画の強化とマルチトークン予測
• Authors: Ce Zhang, Yale Song, Ruta Desai, Michael Louis Iuzzolino, Joseph Tighe, Gedas Bertasius, Satwik Kottur,
• Abstract要約: Visual Planning for Assistance (VPA)は、ユーザの進捗を示すビデオに基づいて、特定の目標を達成するために必要な一連のユーザアクションを予測することを目的としている。 マルチモーダル大言語モデル(MLLM)の最近の進歩は、ビデオ理解において有望な結果を示している。 ビデオベースプランニングタスクにおいて,大規模なMLLMを訓練する上での課題を2つ挙げる。
• 参考スコア（独自算出の注目度）: 41.63965006043724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual Planning for Assistance (VPA) aims to predict a sequence of user actions required to achieve a specified goal based on a video showing the user's progress. Although recent advances in multimodal large language models (MLLMs) have shown promising results in video understanding, long-horizon visual planning remains a challenging problem. We identify two challenges in training large MLLMs for video-based planning tasks: (1) scarcity of procedural annotations, limiting the model's ability to learn procedural task dynamics effectively, and (2) inefficiency of next-token prediction objective to explicitly capture the structured action space for visual planning when compared to free-form, natural language. To tackle data scarcity, we introduce Auxiliary Task Augmentation. We design and train our model on auxiliary tasks relevant to long-horizon video-based planning (e.g., goal prediction) to augment the model's planning ability. To more explicitly model the structured action space unique to visual planning tasks, we leverage Multi-token Prediction, extending traditional next-token prediction by using multiple heads to predict multiple future tokens during training. Our approach, VideoPlan, achieves state-of-the-art VPA performance on the COIN and CrossTask datasets, surpassing prior methods by 7.3% and 3.4%, respectively, when predicting 3 future actions. We further extend our method to the challenging Ego4D Long-term Action Anticipation task, and show that it is on par with the state-of-the-art approaches despite not using specialized egocentric features. Code will be made available.
• Abstract（参考訳）: Visual Planning for Assistance (VPA)は、ユーザの進捗を示すビデオに基づいて、特定の目標を達成するために必要な一連のユーザアクションを予測することを目的としている。 近年のマルチモーダル大言語モデル(MLLM)の進歩はビデオ理解において有望な結果を示しているが、長期のビジュアルプランニングは難しい問題である。 1)プロシージャ的アノテーションの不足,2)プロシージャ的タスクのダイナミックスを効果的に学習するモデルの能力の制限,および2)自由な自然言語と比較して視覚的計画のための構造化された行動空間を明示的に捉えるための次世代の予測対象の非効率性。 データ不足に対処するため、Auxiliary Task Augmentationを導入します。 我々は,長期ビデオベース計画(例えば,目標予測)に関連する補助的なタスクに基づいてモデルを設計・訓練し,モデルの計画能力を増強する。 視覚的計画タスクに特有の構造化されたアクション空間をより明確にモデル化するために、複数のヘッドを用いて複数の将来のトークンを予測することで、従来の次世代予測を拡張したマルチトークン予測を利用する。 当社のアプローチであるVideoPlanは,COINデータセットとCrossTaskデータセット上での最先端のVPAパフォーマンスを実現しています。 我々はさらに,Ego4D長期行動予測タスクにメソッドを拡張し,特殊自我中心的機能を使用しないにも関わらず,最先端のアプローチと同等であることを示す。 コードは利用可能になる。

関連論文リスト

• Propose, Assess, Search: Harnessing LLMs for Goal-Oriented Planning in Instructional Videos [48.15438373870542]
  VidAssistは、インストラクショナルビデオにおけるゼロ/フェーショット目標指向の計画のために設計された統合フレームワークである。 最適な計画生成のための幅優先探索アルゴリズムを採用している。 実験によると、VidAssistは異なる目標指向の計画設定のための統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-09-30T17:57:28Z)
• Show and Guide: Instructional-Plan Grounded Vision and Language Model [9.84151565227816]
  MM-PlanLLMは,最初のマルチモーダル計画追従言語モデルである。 会話ビデオモーメント検索と視覚インフォームドステップ生成という,2つの重要なタスクを通じて,クロスモダリティを実現する。 MM-PlanLLMは、新しいマルチタスク・マルチステージアプローチを用いて訓練される。
  論文  参考訳（メタデータ） (2024-09-27T18:20:24Z)
• SAM-E: Leveraging Visual Foundation Model with Sequence Imitation for Embodied Manipulation [62.58480650443393]
  Segment Anything (SAM) は、一般化可能なシーン理解とシーケンス模倣のための視覚境界モデルである。 我々は,単一パスにおけるアクションシーケンスの予測を可能にする,新しいマルチチャネルヒートマップを開発した。
  論文  参考訳（メタデータ） (2024-05-30T00:32:51Z)
• Video Language Planning [137.06052217713054]
  ビデオ言語計画法は木探索法により構成されるアルゴリズムで、(i)視覚言語モデルにポリシーと値関数の両方を提供するよう訓練し、(ii)動的モデルとしてテキストからビデオモデルを作成する。 提案アルゴリズムは,最終作業の完了方法を記述した詳細なマルチモーダル(ビデオと言語)仕様を生成する。 シミュレーションロボットと実ロボットの両方の従来の手法と比較して、長時間作業の成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-10-16T17:48:45Z)
• Temporal DINO: A Self-supervised Video Strategy to Enhance Action Prediction [15.696593695918844]
  本稿では、DINOにインスパイアされた行動予測(ラベルのない自己蒸留)を強化するための、新しい自己教師型ビデオ戦略を提案する。 実験結果は、3D-ResNet、Transformer、LSTMアーキテクチャで予測性能が大幅に向上したことを示している。 これらの知見は,行動認識,運動計画,シーン理解など,多様な映像ベースタスクにおけるアプローチの可能性を強調した。
  論文  参考訳（メタデータ） (2023-08-08T21:18:23Z)
• EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought [95.37585041654535]
  Embodied AIは、ロボットが物理的な環境で長時間のタスクを遂行するためのアクションシーケンスを計画し、実行することができる。 本稿では,EmbodiedGPTを紹介する。EmbodiedGPTは,エンボディドAIのためのエンドツーエンドのマルチモーダル基盤モデルである。 実験は、実施計画、実施制御、視覚的キャプション、視覚的質問応答など、実施されたタスクに対するEmbodiedGPTの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-24T11:04:30Z)
• Pretrained Language Models as Visual Planners for Human Assistance [12.8775186900555]
  Visual Planning for Assistance (VPA)は、ユーザが複雑な多段階目標を達成するためのツールである。 VPAをビデオアクションセグメンテーションと予測に分解する。 この新しいアプローチは、Visual Language Model Based Planner (VLaMP)と呼ばれ、一連のメトリクスでベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-04-17T18:07:36Z)
• Long-Horizon Visual Planning with Goal-Conditioned Hierarchical Predictors [124.30562402952319]
  未来に予測し、計画する能力は、世界で行動するエージェントにとって基本である。 視覚的予測と計画のための現在の学習手法は、長期的タスクでは失敗する。 本稿では,これらの制約を克服可能な視覚的予測と計画のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-23T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。