論文の概要: Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and Stereo Matching

• arxiv url: http://arxiv.org/abs/2004.02138v1
• Date: Sun, 5 Apr 2020 09:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 12:17:42.775031
• Title: Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and Stereo Matching
• Title（参考訳）: flow2stereo:光流れとステレオマッチングの効果的な自己教師付き学習
• Authors: Pengpeng Liu and Irwin King and Michael Lyu and Jia Xu
• Abstract要約: 本稿では,光学フローとステレオマッチングを協調的に学習する統一手法を提案する。 我々はこの知識を最先端の自己教師型学習フレームワークに登録する。 次に、フローとステレオの両方を見積もるために、1つのネットワークをトレーニングします。
• 参考スコア（独自算出の注目度）: 41.18196059378694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a unified method to jointly learn optical flow and stereo matching. Our first intuition is stereo matching can be modeled as a special case of optical flow, and we can leverage 3D geometry behind stereoscopic videos to guide the learning of these two forms of correspondences. We then enroll this knowledge into the state-of-the-art self-supervised learning framework, and train one single network to estimate both flow and stereo. Second, we unveil the bottlenecks in prior self-supervised learning approaches, and propose to create a new set of challenging proxy tasks to boost performance. These two insights yield a single model that achieves the highest accuracy among all existing unsupervised flow and stereo methods on KITTI 2012 and 2015 benchmarks. More remarkably, our self-supervised method even outperforms several state-of-the-art fully supervised methods, including PWC-Net and FlowNet2 on KITTI 2012.
• Abstract（参考訳）: 本稿では,光の流れとステレオマッチングを統合的に学習する手法を提案する。 最初の直観はステレオマッチングを光学的流れの特殊な場合としてモデル化することができ、立体ビデオの背景にある3次元幾何学を利用してこれらの2種類の対応の学習を導くことができる。 そして、この知識を最先端の自己教師付き学習フレームワークに導入し、フローとステレオの両方を見積もる単一のネットワークを訓練します。 第2に,事前の自己教師型学習アプローチにおけるボトルネックを明らかにし,パフォーマンス向上のための新たなプロキシタスクセットを提案する。 これら2つの洞察は、kitti 2012と2015のベンチマークにおいて、既存の教師なしフローとステレオメソッドの最高精度を達成する1つのモデルをもたらす。 さらに、我々の自己管理手法は、KITTI 2012のPWC-NetやFlowNet2など、最先端の完全教師付き手法よりも優れています。

関連論文リスト

• Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs [73.74375912785689]
  本稿では,音声認識システムのための統合学習戦略を提案する。 3つのタスクの1つのモデルをトレーニングすることで、VSRとAVSRの性能が向上することを示す。 また,非ラベル標本をより効果的に活用するために,強欲な擬似ラベリング手法を導入する。
  論文  参考訳（メタデータ） (2024-11-04T16:46:53Z)
• DualFluidNet: an Attention-based Dual-pipeline Network for FLuid Simulation [4.694954114339147]
  本研究では,注意型デュアルパイプネットワークを用いた3次元流体シミュレーションの革新的手法を提案する。 グローバルな流体制御と物理法則のバランスを改善する方法を見つける。 また、より複雑なシーンを扱うネットワークの能力をさらに探求する新たなデータセットであるTurton3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-28T07:37:11Z)
• SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video Anomaly Detection [108.57862846523858]
  自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。 マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。 モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
  論文  参考訳（メタデータ） (2022-07-16T19:25:41Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
  DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。 我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-06-08T09:13:34Z)
• SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping [28.505194400883475]
  SMURFは、すべてのベンチマークの状態を36%$から$ 40$に改善する、光学フローの監視されていない学習方法です。 本手法は,教師付き光フローからのアーキテクチャ改善を統合する。 教師なし学習の新しいアイデアには、シーケンス対応の自己スーパービジョンロス、フレーム外動作を処理する技術、マルチフレームビデオデータから効果的に学習するアプローチなどがある。
  論文  参考訳（メタデータ） (2021-05-14T18:02:50Z)
• Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
  自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。 自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
  論文  参考訳（メタデータ） (2021-05-05T17:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。