論文の概要: Self-Supervised Bird's Eye View Motion Prediction with Cross-Modality
Signals
- arxiv url: http://arxiv.org/abs/2401.11499v1
- Date: Sun, 21 Jan 2024 14:09:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 16:08:03.040364
- Title: Self-Supervised Bird's Eye View Motion Prediction with Cross-Modality
Signals
- Title(参考訳): クロスモーダル信号を用いた自己監督鳥眼球運動予測
- Authors: Shaoheng Fang, Zuhong Liu, Mingyu Wang, Chenxin Xu, Yiqi Zhong, Siheng
Chen
- Abstract要約: 密集した鳥の視線(BEV)の動きを自己監督的に学習することは、ロボット工学と自律運転の新たな研究である。
現在の自己監督法は主に点雲間の点対応に依存する。
マルチモダリティデータを活用することで,これらの問題に効果的に対処する,新たなクロスモダリティ自己教師型トレーニングフレームワークを導入する。
- 参考スコア(独自算出の注目度): 38.20643428486824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning the dense bird's eye view (BEV) motion flow in a self-supervised
manner is an emerging research for robotics and autonomous driving. Current
self-supervised methods mainly rely on point correspondences between point
clouds, which may introduce the problems of fake flow and inconsistency,
hindering the model's ability to learn accurate and realistic motion. In this
paper, we introduce a novel cross-modality self-supervised training framework
that effectively addresses these issues by leveraging multi-modality data to
obtain supervision signals. We design three innovative supervision signals to
preserve the inherent properties of scene motion, including the masked Chamfer
distance loss, the piecewise rigidity loss, and the temporal consistency loss.
Through extensive experiments, we demonstrate that our proposed self-supervised
framework outperforms all previous self-supervision methods for the motion
prediction task.
- Abstract(参考訳): 密集した鳥の目視(bev)の動きの流れを自己監督で学ぶことは、ロボット工学と自動運転の新たな研究だ。
現在の自己監督法は主に点雲間の点対応に依存しており、これは偽の流れと矛盾の問題を導入し、モデルが正確で現実的な動きを学習する能力を妨げている。
本稿では,マルチモダリティデータを利用して監督信号を得ることにより,これらの課題に効果的に対応する新しいクロスモダリティ自己教師付き学習フレームワークを提案する。
マスク付きチャンファー距離損失,ピースワイド剛性損失,時間的一貫性損失など,シーン動作の固有性を維持するために3つの革新的な監視信号を設計する。
より広範な実験により,提案する自己監督フレームワークは,動作予測タスクにおける従来の自己監督手法よりも優れていたことを示す。
関連論文リスト
- Controllable Safety-Critical Closed-loop Traffic Simulation via Guided
Diffusion [100.4988219600854]
誘導拡散モデルに根ざした新しいクローズドループシミュレーションフレームワークを提案する。
提案手法は, 現実の条件を密にエミュレートする現実的なロングテールシナリオの生成と, 制御性の向上という, 二つの異なる利点をもたらす。
我々はNuScenesデータセットを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳(メタデータ) (2023-12-31T04:14:43Z) - EMR-MSF: Self-Supervised Recurrent Monocular Scene Flow Exploiting
Ego-Motion Rigidity [13.02735046166494]
自己監督型単分子シーンフロー推定は、単純で経済的なセンサーの設置に注目が集まっている。
本稿では,教師あり学習の範囲内でのネットワークアーキテクチャ設計の利点を活かして,EMR-MSFという優れたモデルを提案する。
KITTIのシーンフローベンチマークでは,最先端の自己監督単分子法のSF-all測定値が44%向上した。
論文 参考訳(メタデータ) (2023-09-04T00:30:06Z) - Smooth-Trajectron++: Augmenting the Trajectron++ behaviour prediction
model with smooth attention [0.0]
本研究では,注目モジュールにスムーズな項を組み込んだトラジェクトリ予測モデルであるTrjectron++について検討する。
この注意機構は、注意切り替えの限界を示す認知科学の研究にインスパイアされた人間の注意を模倣する。
得られたSmooth-Trajectron++モデルの性能を評価し、様々なベンチマークで元のモデルと比較する。
論文 参考訳(メタデータ) (2023-05-31T09:19:55Z) - Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
モデルに基づく強化学習手法であるIso-Dream++を提案する。
我々は、切り離された潜在的想像力に基づいて政策最適化を行う。
これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-03-27T02:55:56Z) - Motion Inspired Unsupervised Perception and Prediction in Autonomous
Driving [29.731790562352344]
本論文は,オープンセット移動物体を理解するための学習学習モデルと予測モデルである,新規で挑戦的な方向性を開拓する。
提案フレームワークは自己学習フローを用いて自動メタラベリングパイプラインを起動し,自動監視を実現する。
提案手法は, オープンセット3次元検出と軌道予測において, 極めて有望な結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-10-14T18:55:44Z) - Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。
SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
論文 参考訳(メタデータ) (2021-11-23T03:29:18Z) - MotionHint: Self-Supervised Monocular Visual Odometry with Motion
Constraints [70.76761166614511]
モノクローナルビジュアル・オドメトリー(VO)のための新しい自己教師型アルゴリズムMotionHintを提案する。
我々のMotionHintアルゴリズムは、既存のオープンソースSSM-VOシステムに容易に適用できる。
論文 参考訳(メタデータ) (2021-09-14T15:35:08Z) - Self-Supervised Pillar Motion Learning for Autonomous Driving [10.921208239968827]
本研究では,点群からの自由監視信号と対カメラ画像を利用した学習フレームワークを提案する。
本モデルでは,確率的運動マスキングを付加した点雲に基づく構造整合性と,所望の自己超越を実現するためのクロスセンサ運動正規化を含む。
論文 参考訳(メタデータ) (2021-04-18T02:32:08Z) - Self-supervised Video Object Segmentation [76.83567326586162]
本研究の目的は、半教師付きビデオオブジェクトセグメンテーション(高密度トラッキング)の解決を目的とした自己教師付き表現学習である。
i) 従来の自己教師型アプローチを改善すること、(ii) オンライン適応モジュールによる自己教師型アプローチの強化により、空間的時間的不連続性によるトラッカーのドリフトを緩和すること、(iv) DAVIS-2017とYouTubeの自己教師型アプローチで最先端の結果を示すこと、などが提案されている。
論文 参考訳(メタデータ) (2020-06-22T17:55:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。