論文の概要: RAFT-MSF: Self-Supervised Monocular Scene Flow using Recurrent Optimizer
- arxiv url: http://arxiv.org/abs/2205.01568v1
- Date: Tue, 3 May 2022 15:43:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 16:40:47.717299
- Title: RAFT-MSF: Self-Supervised Monocular Scene Flow using Recurrent Optimizer
- Title（参考訳）: RAFT-MSF:リカレントオプティマイザを用いた自己監督単眼シーンフロー
- Authors: Bayram Bayramli, Junhwa Hur, Hongtao Lu
- Abstract要約: 本稿では,従来の手法に比べて精度が大幅に向上する自己教師付き単眼シーンフロー手法を提案する。
現状の光学フローモデルであるRAFTに基づいて、3次元運動場と不均一マップを同時に更新する新しいデコーダを設計する。
本手法は, 自己監督型単眼シーンフロー法における最先端の精度を実現し, 精度を34.2%向上させる。
- 参考スコア（独自算出の注目度）: 21.125470798719967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning scene flow from a monocular camera still remains a challenging task
due to its ill-posedness as well as lack of annotated data. Self-supervised
methods demonstrate learning scene flow estimation from unlabeled data, yet
their accuracy lags behind (semi-)supervised methods. In this paper, we
introduce a self-supervised monocular scene flow method that substantially
improves the accuracy over the previous approaches. Based on RAFT, a
state-of-the-art optical flow model, we design a new decoder to iteratively
update 3D motion fields and disparity maps simultaneously. Furthermore, we
propose an enhanced upsampling layer and a disparity initialization technique,
which overall further improves accuracy up to 7.2%. Our method achieves
state-of-the-art accuracy among all self-supervised monocular scene flow
methods, improving accuracy by 34.2%. Our fine-tuned model outperforms the best
previous semi-supervised method with 228 times faster runtime. Code will be
publicly available.
- Abstract（参考訳）: 単眼カメラからのシーンフローの学習は、その不備や注釈付きデータの欠如など、依然として困難な課題である。
自己教師付き手法はラベルのないデータからシーンフローを推定するが、その精度は半教師付き手法に遅れる。
本稿では,従来の手法よりも精度が大幅に向上する自己教師付き単眼シーンフロー手法を提案する。
現状の光学フローモデルであるRAFTに基づいて、3次元運動場と不均一マップを同時に更新する新しいデコーダを設計する。
さらに,改良されたアップサンプリング層と不均一初期化手法を提案し,精度を7.2%まで向上させる。
本手法は, 自己教師付き単眼フロー法における最先端精度を実現し, 精度を34.2%向上させた。
我々の微調整モデルは、228倍高速な実行時間で、最も優れた半教師付き手法より優れています。
コードは公開されます。
関連論文リスト
- Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳（メタデータ） (2022-04-14T22:58:30Z) - Reassessing the Limitations of CNN Methods for Camera Pose Regression [27.86655424544118]
本稿では,カメラのポーズを直接画像から復元できるモデルを提案する。
まず、レグレッションメソッドがまだ最先端にある理由を分析し、新しいアプローチでパフォーマンスギャップを埋める。
論文 参考訳（メタデータ） (2021-08-16T17:55:26Z) - Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。
自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
論文 参考訳（メタデータ） (2021-05-05T17:49:55Z) - FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation [87.74617110803189]
シーンフローとして知られるシーン内の点の3次元運動を推定することは、コンピュータビジョンにおける中核的な問題である。
本稿では,シーンフローの予測を洗練するための反復的アライメント手順の1ステップを学習する再帰的アーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-19T23:23:48Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Monocular Depth Estimation with Self-supervised Instance Adaptation [138.0231868286184]
ロボット工学の応用では、ロボットの動作に応じて、シーンの複数のビューが利用可能であるかもしれないし、利用できないかもしれない。
本稿では,市販の自己監督型単分子深度再構成システムをテスト時に複数の画像に拡張する手法を提案する。
論文 参考訳（メタデータ） (2020-04-13T08:32:03Z) - Self-Supervised Monocular Scene Flow Estimation [27.477810324117016]
本稿では,競争精度とリアルタイム性能を両立させる新しい単眼シーンフロー法を提案する。
逆問題の観点から、深度と3次元運動を同時に推定する単一畳み込みニューラルネットワーク(CNN)を設計する。
論文 参考訳（メタデータ） (2020-04-08T17:55:54Z) - ScopeFlow: Dynamic Scene Scoping for Optical Flow [94.42139459221784]
我々は,光流の一般的なトレーニングプロトコルを変更することを提案する。
この改善は、挑戦的なデータをサンプリングする際のバイアスを観察することに基づいている。
トレーニングプロトコルでは,正規化と拡張の双方が減少することが判明した。
論文 参考訳（メタデータ） (2020-02-25T09:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。