論文の概要: Forecast-MAE: Self-supervised Pre-training for Motion Forecasting with Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2308.09882v1
• Date: Sat, 19 Aug 2023 02:27:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 19:28:40.641184
• Title: Forecast-MAE: Self-supervised Pre-training for Motion Forecasting with Masked Autoencoders
• Title（参考訳）: Forecast-MAE: Masked Autoencoders を用いた動き予測のための自己教師型事前学習
• Authors: Jie Cheng, Xiaodong Mei and Ming Liu
• Abstract要約: 本研究では,自己教師型学習の動作予測への応用について検討する。 Forecast-MAEは、モーション予測タスクの自己教師型学習用に特別に設計されたマスクオートエンコーダフレームワークの拡張である。
• 参考スコア（独自算出の注目度）: 7.133110402648305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study explores the application of self-supervised learning (SSL) to the task of motion forecasting, an area that has not yet been extensively investigated despite the widespread success of SSL in computer vision and natural language processing. To address this gap, we introduce Forecast-MAE, an extension of the mask autoencoders framework that is specifically designed for self-supervised learning of the motion forecasting task. Our approach includes a novel masking strategy that leverages the strong interconnections between agents' trajectories and road networks, involving complementary masking of agents' future or history trajectories and random masking of lane segments. Our experiments on the challenging Argoverse 2 motion forecasting benchmark show that Forecast-MAE, which utilizes standard Transformer blocks with minimal inductive bias, achieves competitive performance compared to state-of-the-art methods that rely on supervised learning and sophisticated designs. Moreover, it outperforms the previous self-supervised learning method by a significant margin. Code is available at https://github.com/jchengai/forecast-mae.
• Abstract（参考訳）: 本研究は,コンピュータビジョンや自然言語処理においてSSLが広く成功したにもかかわらず,まだ広く研究されていない動き予測への自己教師型学習(SSL)の適用について検討する。 このギャップに対処するために,動作予測タスクの自己教師型学習を目的としたマスクオートエンコーダフレームワークであるForecast-MAEを導入する。 提案手法は,エージェントの軌跡と道路網の強い相互接続を利用する新しいマスキング戦略を含み,エージェントの未来や歴史を補完するマスキング,レーンセグメントのランダムマスキングを含む。 Argoverse 2 の動作予測ベンチマーク実験により,標準トランスフォーマーブロックを最小限の帰納バイアスで利用する Forecast-MAE は,教師付き学習や高度な設計に依存する最先端手法と比較して,競争性能が向上することを示した。 さらに,従来の自己教師あり学習法を有意差で上回っている。 コードはhttps://github.com/jchengai/forecast-maeで入手できる。

関連論文リスト

• Traj-LLM: A New Exploration for Empowering Trajectory Prediction with Pre-trained Large Language Models [12.687494201105066]
  本稿では,Traj-LLMを提案する。Large Language Models (LLMs) を用いて,エージェントの過去の/観測された軌跡やシーンセマンティクスから将来の動きを生成する可能性について検討する。 LLMの強力な理解能力は、ハイレベルなシーン知識とインタラクティブな情報のスペクトルを捉えている。 人為的な車線焦点認知機能を模倣し,先駆的なMambaモジュールを用いた車線認識確率論的学習を導入する。
  論文  参考訳（メタデータ） (2024-05-08T09:28:04Z)
• GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks [24.323017830938394]
  この作業は、ベースラインとシームレスに統合し、パフォーマンスを向上する事前トレーニングフレームワークを導入することで、課題に対処することを目的としている。 フレームワークは2つの重要な設計に基づいて構築されている。 Apple-to-appleマスクオートエンコーダは、学習時間依存のための事前トレーニングモデルである。 これらのモジュールは、時間内カスタマイズされた表現とセマンティック・クラスタ間関係を捉えるように設計されている。
  論文  参考訳（メタデータ） (2023-11-07T02:36:24Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• Traj-MAE: Masked Autoencoders for Trajectory Prediction [69.7885837428344]
  軌道予測は、危険を予測して信頼性の高い自動運転システムを構築する上で重要な課題である。 本稿では,運転環境におけるエージェントの複雑な動作をよりよく表現する,軌道予測のための効率的なマスク付きオートエンコーダを提案する。 複数エージェント設定と単一エージェント設定の両方の実験結果から,Traj-MAEが最先端手法と競合する結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-03-12T16:23:27Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders [64.03000385267339]
  マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。 簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。 RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
  論文  参考訳（メタデータ） (2022-10-05T08:08:55Z)
• A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond [64.85076239939336]
  視覚における自己教師付き学習(SSL)は、NLPと同様の軌道をとる可能性がある。 マスク付き予測(例えばBERT)による生成前文タスクは、NLPにおけるデファクトスタンダードSSLプラクティスとなっている。 マスク画像モデリングの成功により、マスキングオートエンコーダが復活した。
  論文  参考訳（メタデータ） (2022-07-30T09:59:28Z)
• SSL-Lanes: Self-Supervised Learning for Motion Forecasting in Autonomous Driving [9.702784248870522]
  自己教師付き学習(SSL)は、畳み込みニューラルネットワーク(CNN)とグラフニューラルネットワーク(GNN)を訓練する新興技術である。 本研究では,移動予測に自己超越を取り入れた最初の体系的な探索を報告する。
  論文  参考訳（メタデータ） (2022-06-28T16:23:25Z)
• Bootstrap Motion Forecasting With Self-Consistent Constraints [52.88100002373369]
  自己整合性制約を用いた動き予測をブートストラップする新しい枠組みを提案する。 運動予測タスクは、過去の空間的・時間的情報を組み込むことで、車両の将来の軌跡を予測することを目的としている。 提案手法は,既存手法の予測性能を常に向上することを示す。
  論文  参考訳（メタデータ） (2022-04-12T14:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。