論文の概要: Self-Supervised Deep Visual Odometry with Online Adaptation

• arxiv url: http://arxiv.org/abs/2005.06136v1
• Date: Wed, 13 May 2020 03:39:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 13:17:26.633040
• Title: Self-Supervised Deep Visual Odometry with Online Adaptation
• Title（参考訳）: オンライン適応による自己監督型深部眼振計測
• Authors: Shunkai Li, Xin Wang, Yingdian Cao, Fei Xue, Zike Yan, Hongbin Zha
• Abstract要約: 本稿では,VOネットワークが自己指導型で新しい環境に継続的に適応できるオンラインメタ学習アルゴリズムを提案する。 提案手法は,最先端の自己教師型VOベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 35.90781281010656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised VO methods have shown great success in jointly estimating camera pose and depth from videos. However, like most data-driven methods, existing VO networks suffer from a notable decrease in performance when confronted with scenes different from the training data, which makes them unsuitable for practical applications. In this paper, we propose an online meta-learning algorithm to enable VO networks to continuously adapt to new environments in a self-supervised manner. The proposed method utilizes convolutional long short-term memory (convLSTM) to aggregate rich spatial-temporal information in the past. The network is able to memorize and learn from its past experience for better estimation and fast adaptation to the current frame. When running VO in the open world, in order to deal with the changing environment, we propose an online feature alignment method by aligning feature distributions at different time. Our VO network is able to seamlessly adapt to different environments. Extensive experiments on unseen outdoor scenes, virtual to real world and outdoor to indoor environments demonstrate that our method consistently outperforms state-of-the-art self-supervised VO baselines considerably.
• Abstract（参考訳）: 自己監督型VO法は、ビデオからカメラのポーズと深さを共同で推定することに成功した。 しかし、既存のVOネットワークは、多くのデータ駆動方式と同様に、トレーニングデータとは異なるシーンに直面すると、顕著な性能低下に悩まされるため、実用的な応用には適さない。 本稿では,VOネットワークが自己指導型で新しい環境に継続的に適応できるオンラインメタ学習アルゴリズムを提案する。 提案手法は、畳み込み長短期記憶(convLSTM)を用いて、過去の豊富な時空間情報を集約する。 ネットワークは過去の経験を記憶し、学習することで、現在のフレームに対するより良い推定と迅速な適応を可能にする。 オープンな世界でVOを実行する場合、環境の変化に対処するため、異なるタイミングで特徴分布を調整してオンライン機能アライメント手法を提案する。 私たちのvoネットワークは、異なる環境にシームレスに適応することができます。 映像のない屋外シーン,仮想から現実世界,屋外から屋内環境に対する大規模な実験は,我々の手法が最先端の自己監督型VOベースラインを大幅に上回っていることを示す。

関連論文リスト

• Reinforcement Learning Meets Visual Odometry [22.34784125002176]
  我々は、ビジュアルオドメトリ(VO)を意思決定タスクとみなし、強化学習(RL)をVOプロセスの動的適応に適用する。 このアプローチでは,VOパイプライン内のエージェントとして動作するニューラルネットワークを導入して,シーケンシャルおよびグリッドサイズ選択などの決定を行う。 提案手法は,ポーズエラーや実行時,その他のメトリクスに基づいた報酬関数を用いて,選択への依存を最小限に抑える。
  論文  参考訳（メタデータ） (2024-07-22T13:37:55Z)
• Evaluating the Effectiveness of Video Anomaly Detection in the Wild: Online Learning and Inference for Real-world Deployment [2.1374208474242815]
  Video Anomaly Detection (VAD) は、監視から医療まで幅広い応用の鍵となる、ビデオストリームにおける異常な活動を特定する。 実生活環境でのVADに取り組むことは、人間の行動の動的な性質、環境の変化、ドメインシフトによって大きな課題となる。 オンライン学習は、モデルを新しい情報に継続的に適応させることによって、この問題を軽減するための潜在的戦略である。
  論文  参考訳（メタデータ） (2024-04-29T14:47:32Z)
• XVO: Generalized Visual Odometry via Cross-Modal Self-Training [11.70220331540621]
  XVOは、一般化された単眼視眼視(英語版)モデル(英語版)(VO)を訓練するための半教師付き学習法である。 単一のデータセット内の既知のキャリブレーションをよく研究する標準的な単分子VOアプローチとは対照的に、XVOは現実のスケールで相対的なポーズを回復するのを効率的に学習する。 そこで我々は,YouTubeで公開されている大量の非拘束・異質なダッシュカメラビデオから,自己学習による動作推定モデルを最適化した。
  論文  参考訳（メタデータ） (2023-09-28T18:09:40Z)
• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Visual-Language Navigation Pretraining via Prompt-based Environmental Self-exploration [83.96729205383501]
  本稿では,言語埋め込みの高速適応を実現するために,プロンプトベースの学習を導入する。 我々のモデルは、VLNやREVERIEを含む多様な視覚言語ナビゲーションタスクに適応することができる。
  論文  参考訳（メタデータ） (2022-03-08T11:01:24Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Generalizing to the Open World: Deep Visual Odometry with Online Adaptation [27.22639812204019]
  本稿では,シーン非依存な幾何計算とベイズ推論の助けを借りて,ディープvoのオンライン適応フレームワークを提案する。 本手法は,自己監視型VO法における最先端の一般化能力を実現する。
  論文  参考訳（メタデータ） (2021-03-29T02:13:56Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。