論文の概要: Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and
Stereo Matching
- arxiv url: http://arxiv.org/abs/2004.02138v1
- Date: Sun, 5 Apr 2020 09:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 12:17:42.775031
- Title: Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and
Stereo Matching
- Title(参考訳): flow2stereo:光流れとステレオマッチングの効果的な自己教師付き学習
- Authors: Pengpeng Liu and Irwin King and Michael Lyu and Jia Xu
- Abstract要約: 本稿では,光学フローとステレオマッチングを協調的に学習する統一手法を提案する。
我々はこの知識を最先端の自己教師型学習フレームワークに登録する。
次に、フローとステレオの両方を見積もるために、1つのネットワークをトレーニングします。
- 参考スコア(独自算出の注目度): 41.18196059378694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a unified method to jointly learn optical flow and
stereo matching. Our first intuition is stereo matching can be modeled as a
special case of optical flow, and we can leverage 3D geometry behind
stereoscopic videos to guide the learning of these two forms of
correspondences. We then enroll this knowledge into the state-of-the-art
self-supervised learning framework, and train one single network to estimate
both flow and stereo. Second, we unveil the bottlenecks in prior
self-supervised learning approaches, and propose to create a new set of
challenging proxy tasks to boost performance. These two insights yield a single
model that achieves the highest accuracy among all existing unsupervised flow
and stereo methods on KITTI 2012 and 2015 benchmarks. More remarkably, our
self-supervised method even outperforms several state-of-the-art fully
supervised methods, including PWC-Net and FlowNet2 on KITTI 2012.
- Abstract(参考訳): 本稿では,光の流れとステレオマッチングを統合的に学習する手法を提案する。
最初の直観はステレオマッチングを光学的流れの特殊な場合としてモデル化することができ、立体ビデオの背景にある3次元幾何学を利用してこれらの2種類の対応の学習を導くことができる。
そして、この知識を最先端の自己教師付き学習フレームワークに導入し、フローとステレオの両方を見積もる単一のネットワークを訓練します。
第2に,事前の自己教師型学習アプローチにおけるボトルネックを明らかにし,パフォーマンス向上のための新たなプロキシタスクセットを提案する。
これら2つの洞察は、kitti 2012と2015のベンチマークにおいて、既存の教師なしフローとステレオメソッドの最高精度を達成する1つのモデルをもたらす。
さらに、我々の自己管理手法は、KITTI 2012のPWC-NetやFlowNet2など、最先端の完全教師付き手法よりも優れています。
関連論文リスト
- Top-Down Network Combines Back-Propagation with Attention [3.6683171094134805]
視覚やその他の領域における皮質処理は、ボトムアップ(BU)と広範なトップダウン(TD)処理を組み合わせる。
本稿では,従来のボトムアップネットワークを対称的なトップダウンネットワークと統合可能な,新しい対称なボトムアップトップダウンネットワーク構造を提案する。
提案手法は,標準的なマルチタスク学習ベンチマーク上での競合性能を示す。
論文 参考訳(メタデータ) (2023-06-04T17:38:06Z) - Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文 参考訳(メタデータ) (2022-11-18T02:00:17Z) - SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video
Anomaly Detection [108.57862846523858]
自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。
マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。
モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
論文 参考訳(メタデータ) (2022-07-16T19:25:41Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳(メタデータ) (2022-04-14T22:58:30Z) - Learning by Distillation: A Self-Supervised Learning Framework for
Optical Flow Estimation [71.76008290101214]
DistillFlowは光の流れを学ぶための知識蒸留手法である。
KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。
我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
論文 参考訳(メタデータ) (2021-06-08T09:13:34Z) - SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image
Warping [28.505194400883475]
SMURFは、すべてのベンチマークの状態を36%$から$ 40$に改善する、光学フローの監視されていない学習方法です。
本手法は,教師付き光フローからのアーキテクチャ改善を統合する。
教師なし学習の新しいアイデアには、シーケンス対応の自己スーパービジョンロス、フレーム外動作を処理する技術、マルチフレームビデオデータから効果的に学習するアプローチなどがある。
論文 参考訳(メタデータ) (2021-05-14T18:02:50Z) - Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。
自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
論文 参考訳(メタデータ) (2021-05-05T17:49:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。