論文の概要: Self-Supervised Deep Visual Odometry with Online Adaptation
- arxiv url: http://arxiv.org/abs/2005.06136v1
- Date: Wed, 13 May 2020 03:39:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 13:17:26.633040
- Title: Self-Supervised Deep Visual Odometry with Online Adaptation
- Title(参考訳): オンライン適応による自己監督型深部眼振計測
- Authors: Shunkai Li, Xin Wang, Yingdian Cao, Fei Xue, Zike Yan, Hongbin Zha
- Abstract要約: 本稿では,VOネットワークが自己指導型で新しい環境に継続的に適応できるオンラインメタ学習アルゴリズムを提案する。
提案手法は,最先端の自己教師型VOベースラインを大幅に上回っている。
- 参考スコア(独自算出の注目度): 35.90781281010656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised VO methods have shown great success in jointly estimating
camera pose and depth from videos. However, like most data-driven methods,
existing VO networks suffer from a notable decrease in performance when
confronted with scenes different from the training data, which makes them
unsuitable for practical applications. In this paper, we propose an online
meta-learning algorithm to enable VO networks to continuously adapt to new
environments in a self-supervised manner. The proposed method utilizes
convolutional long short-term memory (convLSTM) to aggregate rich
spatial-temporal information in the past. The network is able to memorize and
learn from its past experience for better estimation and fast adaptation to the
current frame. When running VO in the open world, in order to deal with the
changing environment, we propose an online feature alignment method by aligning
feature distributions at different time. Our VO network is able to seamlessly
adapt to different environments. Extensive experiments on unseen outdoor
scenes, virtual to real world and outdoor to indoor environments demonstrate
that our method consistently outperforms state-of-the-art self-supervised VO
baselines considerably.
- Abstract(参考訳): 自己監督型VO法は、ビデオからカメラのポーズと深さを共同で推定することに成功した。
しかし、既存のVOネットワークは、多くのデータ駆動方式と同様に、トレーニングデータとは異なるシーンに直面すると、顕著な性能低下に悩まされるため、実用的な応用には適さない。
本稿では,VOネットワークが自己指導型で新しい環境に継続的に適応できるオンラインメタ学習アルゴリズムを提案する。
提案手法は、畳み込み長短期記憶(convLSTM)を用いて、過去の豊富な時空間情報を集約する。
ネットワークは過去の経験を記憶し、学習することで、現在のフレームに対するより良い推定と迅速な適応を可能にする。
オープンな世界でVOを実行する場合、環境の変化に対処するため、異なるタイミングで特徴分布を調整してオンライン機能アライメント手法を提案する。
私たちのvoネットワークは、異なる環境にシームレスに適応することができます。
映像のない屋外シーン,仮想から現実世界,屋外から屋内環境に対する大規模な実験は,我々の手法が最先端の自己監督型VOベースラインを大幅に上回っていることを示す。
関連論文リスト
- XVO: Generalized Visual Odometry via Cross-Modal Self-Training [11.70220331540621]
XVOは、一般化された単眼視眼視(英語版)モデル(英語版)(VO)を訓練するための半教師付き学習法である。
単一のデータセット内の既知のキャリブレーションをよく研究する標準的な単分子VOアプローチとは対照的に、XVOは現実のスケールで相対的なポーズを回復するのを効率的に学習する。
そこで我々は,YouTubeで公開されている大量の非拘束・異質なダッシュカメラビデオから,自己学習による動作推定モデルを最適化した。
論文 参考訳(メタデータ) (2023-09-28T18:09:40Z) - VERSE: Virtual-Gradient Aware Streaming Lifelong Learning with Anytime
Inference [36.61783715563126]
生涯学習をストリーミングすることは、忘れずに継続的な学習を目標とすることで、生涯学習の挑戦的な設定である。
ストリーミング(学習例は1回に1回のみ)である生涯学習に新たなアプローチを導入する。
本稿では,各新しい例に適応し,過去のデータにも順応し,破滅的な忘れ込みを防止できる新しいエンフェクチュアル勾配に基づく連続表現学習手法を提案する。
論文 参考訳(メタデータ) (2023-09-15T07:54:49Z) - Deeply-Coupled Convolution-Transformer with Spatial-temporal
Complementary Learning for Video-based Person Re-identification [91.56939957189505]
本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。
私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
論文 参考訳(メタデータ) (2023-04-27T12:16:44Z) - CoDEPS: Online Continual Learning for Depth Estimation and Panoptic
Segmentation [28.782231314289174]
深層学習に基づく単眼深度推定とパノプティックセグメンテーションのための連続学習をオンラインで導入する。
そこで本研究では,パノプティカルセグメンテーションに適応する擬似ラベルを生成するための新しいドメイン混合手法を提案する。
我々は,固定サイズのリプレイバッファを構築するためのサンプリング戦略を活用することで,ロボットシステムの限られたストレージ容量に明示的に対処する。
論文 参考訳(メタデータ) (2023-03-17T17:31:55Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳(メタデータ) (2022-03-11T01:51:54Z) - Visual-Language Navigation Pretraining via Prompt-based Environmental
Self-exploration [83.96729205383501]
本稿では,言語埋め込みの高速適応を実現するために,プロンプトベースの学習を導入する。
我々のモデルは、VLNやREVERIEを含む多様な視覚言語ナビゲーションタスクに適応することができる。
論文 参考訳(メタデータ) (2022-03-08T11:01:24Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z) - Generalizing to the Open World: Deep Visual Odometry with Online
Adaptation [27.22639812204019]
本稿では,シーン非依存な幾何計算とベイズ推論の助けを借りて,ディープvoのオンライン適応フレームワークを提案する。
本手法は,自己監視型VO法における最先端の一般化能力を実現する。
論文 参考訳(メタデータ) (2021-03-29T02:13:56Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳(メタデータ) (2020-11-16T08:24:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。