論文の概要: MaskViT: Masked Visual Pre-Training for Video Prediction

• arxiv url: http://arxiv.org/abs/2206.11894v1
• Date: Thu, 23 Jun 2022 17:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 14:08:14.989740
• Title: MaskViT: Masked Visual Pre-Training for Video Prediction
• Title（参考訳）: MaskViT: ビデオ予測のためのマズークビジュアル事前トレーニング
• Authors: Agrim Gupta, Stephen Tian, Yunzhi Zhang, Jiajun Wu, Roberto Mart\'in-Mart\'in, Li Fei-Fei
• Abstract要約: マスク付き視覚モデルを用いて、トランスフォーマーを事前学習することで、優れた映像予測モデルを作成する。 MaskViTは、ビデオ予測における以前の作業よりも優れ、パラメータ効率が高く、高解像度のビデオを生成することができる。 我々の研究は、マスク付き視覚モデリングの一般的な枠組みを活用することで、強力な予測モデルでエンボディードエージェントを育むことができることを示唆している。
• 参考スコア（独自算出の注目度）: 29.25521342538311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to predict future visual observations conditioned on past observations and motor commands can enable embodied agents to plan solutions to a variety of tasks in complex environments. This work shows that we can create good video prediction models by pre-training transformers via masked visual modeling. Our approach, named MaskViT, is based on two simple design decisions. First, for memory and training efficiency, we use two types of window attention: spatial and spatiotemporal. Second, during training, we mask a variable percentage of tokens instead of a fixed mask ratio. For inference, MaskViT generates all tokens via iterative refinement where we incrementally decrease the masking ratio following a mask scheduling function. On several datasets we demonstrate that MaskViT outperforms prior works in video prediction, is parameter efficient, and can generate high-resolution videos (256x256). Further, we demonstrate the benefits of inference speedup (up to 512x) due to iterative decoding by using MaskViT for planning on a real robot. Our work suggests that we can endow embodied agents with powerful predictive models by leveraging the general framework of masked visual modeling with minimal domain knowledge.
• Abstract（参考訳）: 過去の観測とモーターコマンドに照らされた将来の視覚的観察を予測する能力により、複雑な環境で様々なタスクに対するソリューションを計画できる。 本研究は,マスク付き視覚モデルを用いてトランスフォーマーを事前学習することで,優れた映像予測モデルを作成することができることを示す。 われわれのアプローチはMaskViTと呼ばれ、2つのシンプルな設計決定に基づいている。 まず、記憶と訓練の効率化のために、空間的および時空間的な2種類のウィンドウアテンションを使用する。 第2に、トレーニング中に、固定マスク比の代わりにトークンの変動割合をマスクする。 推測のために、MaskViTは反復精算により全てのトークンを生成し、マスクスケジューリング関数に従ってマスキング比を漸進的に減少させる。 いくつかのデータセットにおいて、MaskViTはビデオ予測の先行処理に優れ、パラメータ効率が良く、高解像度動画(256x256)を生成することができることを示した。 さらに,MaskViTを実ロボットの計画に用いることにより,反復復号化による推論高速化(最大512倍)の利点を示す。 我々の研究は、マスク付き視覚モデリングの一般的なフレームワークを最小限のドメイン知識で活用することで、強力な予測モデルでエンボディされたエージェントを支持できることを示唆している。

関連論文リスト

• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Sample-specific Masks for Visual Reprogramming-based Prompting [20.27639343292564]
  ビジュアルリプログラミング(VR)は、タスクをターゲットにしたトレーニング済みモデルの再利用を目的としたプロンプト技術である。 本稿では,共有マスクがVRの一般化を制限し,近似誤差を増大させる可能性を示す。 この発見に動機づけられた我々は、サンプル特異的マルチチャネルマスク(SMM)と呼ばれるVRのための新しいフレームワークを設計した。
  論文  参考訳（メタデータ） (2024-06-05T11:15:43Z)
• Mask Propagation for Efficient Video Semantic Segmentation [63.09523058489429]
  ビデオセマンティックベースライン劣化(VSS)は、ビデオシーケンス内の各ピクセルにセマンティックラベルを割り当てることを含む。 SSSSと呼ばれるVSSのための効率的なマスク伝搬フレームワークを提案する。 当社のフレームワークは,フレーム単位のMask2Formerと比較して最大4倍のFLOPを削減し,Cityscapes検証セット上では最大2% mIoUしか使用できない。
  論文  参考訳（メタデータ） (2023-10-29T09:55:28Z)
• Toward a Deeper Understanding: RetNet Viewed through Convolution [25.8904146140577]
  Vision Transformer (ViT)はCNNよりもグローバルな依存関係を学習できるが、CNN固有のローカリティは高価なトレーニングリソースに取って代わることができる。 本稿では、CNNの観点からRetNetの有効性について検討し、視覚領域に合わせたRetNetの変種を示す。 本稿では,1つのマスクが2つの学習可能なパラメータしか持たない新しいガウス混合マスク(GMM)を提案する。
  論文  参考訳（メタデータ） (2023-09-11T10:54:22Z)
• MP-Former: Mask-Piloted Transformer for Image Segmentation [16.620469868310288]
  Mask2Formerはデコーダ層間の一貫性のないマスク予測に悩まされている。 本手法では,マスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスのマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスをマスマスマスマストした。
  論文  参考訳（メタデータ） (2023-03-13T17:57:59Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• ConvMAE: Masked Convolution Meets Masked Autoencoders [65.15953258300958]
  機能事前トレーニングとマルチスケールハイブリッド畳み込み変換アーキテクチャのためのマスク付き自動エンコーディングは、ViTの可能性をさらに解き放つことができる。 我々のConvMAEフレームワークは、マスクの自動符号化方式により、マルチスケールのハイブリッド畳み込み変換器がより識別的な表現を学習できることを実証している。 事前訓練したConvMAEモデルに基づいて、ConvMAE-Baseは画像Net-1Kの微調整精度をMAE-Baseと比較して1.4%改善する。
  論文  参考訳（メタデータ） (2022-05-08T15:12:19Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。