論文の概要: Consistency Guided Scene Flow Estimation
- arxiv url: http://arxiv.org/abs/2006.11242v2
- Date: Mon, 17 Aug 2020 09:58:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 04:49:57.778084
- Title: Consistency Guided Scene Flow Estimation
- Title（参考訳）: 一貫性誘導シーンフロー推定
- Authors: Yuhua Chen, Luc Van Gool, Cordelia Schmid, Cristian Sminchisescu
- Abstract要約: CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。
提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。
最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
- 参考スコア（独自算出の注目度）: 159.24395181068218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consistency Guided Scene Flow Estimation (CGSF) is a self-supervised
framework for the joint reconstruction of 3D scene structure and motion from
stereo video. The model takes two temporal stereo pairs as input, and predicts
disparity and scene flow. The model self-adapts at test time by iteratively
refining its predictions. The refinement process is guided by a consistency
loss, which combines stereo and temporal photo-consistency with a geometric
term that couples disparity and 3D motion. To handle inherent modeling error in
the consistency loss (e.g. Lambertian assumptions) and for better
generalization, we further introduce a learned, output refinement network,
which takes the initial predictions, the loss, and the gradient as input, and
efficiently predicts a correlated output update. In multiple experiments,
including ablation studies, we show that the proposed model can reliably
predict disparity and scene flow in challenging imagery, achieves better
generalization than the state-of-the-art, and adapts quickly and robustly to
unseen domains.
- Abstract（参考訳）: Consistency Guided Scene Flow Estimation (CGSF) は立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。
このモデルは2つの時間的ステレオペアを入力として取り、格差とシーンフローを予測する。
モデルは、反復的に予測を精錬することで、テスト時に自己適応する。
立体的および時間的フォトコンシステンシーと、不一致と3次元運動を結合する幾何学的用語を組み合わせた一貫性損失によって、精細化プロセスが導かれる。
一貫性損失(例えばランベルトの仮定)における固有なモデリング誤差に対処し、より一般化するために、学習された出力改善ネットワークを導入し、初期予測、損失、勾配を入力として取り、相関した出力更新を効率的に予測する。
アブレーション研究を含む複数の実験において, 提案手法は, 課題画像における相違やシーンフローを確実に予測し, 最先端技術よりも優れた一般化を実現し, 未確認領域に迅速かつ堅牢に適応できることを示す。
関連論文リスト
- Multi-Contextual Predictions with Vision Transformer for Video Anomaly
Detection [22.098399083491937]
ビデオの時間的文脈を理解することは、異常検出において重要な役割を果たす。
我々は3つの異なる文脈予測ストリームを持つトランスモデルを設計する。
連続する正常フレームの欠落フレームの予測を学習することにより、ビデオ内の様々な正常パターンを効果的に学習することができる。
論文 参考訳（メタデータ） (2022-06-17T05:54:31Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2021-11-29T18:59:09Z) - PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。
我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。
提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-09-28T17:56:41Z) - Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。
自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
論文 参考訳（メタデータ） (2021-05-05T17:49:55Z) - FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation [87.74617110803189]
シーンフローとして知られるシーン内の点の3次元運動を推定することは、コンピュータビジョンにおける中核的な問題である。
本稿では,シーンフローの予測を洗練するための反復的アライメント手順の1ステップを学習する再帰的アーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-19T23:23:48Z) - Self-Supervised Monocular Scene Flow Estimation [27.477810324117016]
本稿では,競争精度とリアルタイム性能を両立させる新しい単眼シーンフロー法を提案する。
逆問題の観点から、深度と3次元運動を同時に推定する単一畳み込みニューラルネットワーク(CNN)を設計する。
論文 参考訳（メタデータ） (2020-04-08T17:55:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。