論文の概要: UFD-PRiME: Unsupervised Joint Learning of Optical Flow and Stereo Depth through Pixel-Level Rigid Motion Estimation

• arxiv url: http://arxiv.org/abs/2310.04712v1
• Date: Sat, 7 Oct 2023 07:08:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 16:17:14.971187
• Title: UFD-PRiME: Unsupervised Joint Learning of Optical Flow and Stereo Depth through Pixel-Level Rigid Motion Estimation
• Title（参考訳）: UFD-PRiME:Pixel-Level Rigid運動推定による光学的流れとステレオ深さの教師なし共同学習
• Authors: Shuai Yuan, Carlo Tomasi
• Abstract要約: 光の流れとステレオの相違は画像の一致であり、そのため関節トレーニングの恩恵を受けることができる。 我々は、フローと格差を共同で推定し、監督なしに訓練される最初のネットワークを設計する。 第2のネットワークは、第1のネットワークから擬似ラベルとして光学的流れを訓練し、第1のネットワークから格差を取り、各ピクセルにおける3次元剛性運動を推定し、再び光学的流れを再構築する。
• 参考スコア（独自算出の注目度）: 4.445751695675388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Both optical flow and stereo disparities are image matches and can therefore benefit from joint training. Depth and 3D motion provide geometric rather than photometric information and can further improve optical flow. Accordingly, we design a first network that estimates flow and disparity jointly and is trained without supervision. A second network, trained with optical flow from the first as pseudo-labels, takes disparities from the first network, estimates 3D rigid motion at every pixel, and reconstructs optical flow again. A final stage fuses the outputs from the two networks. In contrast with previous methods that only consider camera motion, our method also estimates the rigid motions of dynamic objects, which are of key interest in applications. This leads to better optical flow with visibly more detailed occlusions and object boundaries as a result. Our unsupervised pipeline achieves 7.36% optical flow error on the KITTI-2015 benchmark and outperforms the previous state-of-the-art 9.38% by a wide margin. It also achieves slightly better or comparable stereo depth results. Code will be made available.
• Abstract（参考訳）: オプティカルフローとステレオの相違はどちらも画像マッチングであり、共同トレーニングの恩恵を受けることができる。 深度と3次元の動きは測光情報よりも幾何学的な情報を提供し、光の流れをさらに改善することができる。 そこで我々は,フローと不一致を共同で見積もる第1のネットワークを設計し,監視なしでトレーニングする。 第2のネットワークは、第1のネットワークから擬似ラベルとして光学的流れを訓練し、第1のネットワークから格差を取り、各ピクセルにおける3次元剛性運動を推定し、再び光学的流れを再構築する。 最終段階は、2つのネットワークからの出力を融合する。 カメラの動きのみを考慮した従来の手法とは対照的に,本手法は動的物体の剛性運動を推定する。 これにより、より詳細なオクルージョンとオブジェクト境界によって光学フローが改善される。 我々の教師なしパイプラインはkitti-2015ベンチマークで7.36%の光学フローエラーを達成し、以前の9.38%を大きく上回っている。 また、ステレオの奥行きが少し良くなり、比較できる。 コードは利用可能になる。

関連論文リスト

• Skin the sheep not only once: Reusing Various Depth Datasets to Drive the Learning of Optical Flow [25.23550076996421]
  本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。 モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。 また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
  論文  参考訳（メタデータ） (2023-10-03T06:56:07Z)
• Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
  汚れは視覚的により快適な写真を提供し、写真がより便利になる。 非均一な曖昧さを数学的にモデル化することは困難である。 我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
  論文  参考訳（メタデータ） (2023-01-18T06:37:21Z)
• Weakly-Supervised Optical Flow Estimation for Time-of-Flight [11.496094830445054]
  再構成深度に直接光フローネットワークを監視できるトレーニングアルゴリズムを提案する。 本手法により,iToF深度画像における生のiToF測定値の整列と運動成果物の補償を可能にする。
  論文  参考訳（メタデータ） (2022-10-11T09:47:23Z)
• USegScene: Unsupervised Learning of Depth, Optical Flow and Ego-Motion with Semantic Guidance and Coupled Networks [31.600708674008384]
  UegSceneは、ステレオカメラ画像の奥行き、光学的流れ、エゴモーション推定を意味的に導くためのフレームワークである。 一般的なKITTIデータセットを用いて,提案手法が他の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-15T13:25:47Z)
• Sensor-Guided Optical Flow [53.295332513139925]
  本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。 能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:59:57Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• Self-Supervised Approach for Facial Movement Based Optical Flow [8.19666118455293]
  顔のキーポイントを用いて顔画像の光学的流れグラウンド真理を生成する。 FlowNetSアーキテクチャをトレーニングして、生成されたデータセットのパフォーマンスをテストする。 本研究で得られた光学的流れは表情解析に有望な応用がある。
  論文  参考訳（メタデータ） (2021-05-04T02:38:11Z)
• High-Resolution Optical Flow from 1D Attention and Correlation [89.61824964952949]
  計算量を大幅に削減した高分解能光フロー推定法を提案する。 まず、対象画像の垂直方向の1Dアテンション操作を行い、その後、参加者画像の水平方向の単純な1D相関を行う。 Sintel,KITTIおよび実世界の4K解像度画像を用いた実験により,提案手法の有効性と優位性を示した。
  論文  参考訳（メタデータ） (2021-04-28T17:56:34Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Self-Supervised Linear Motion Deblurring [112.75317069916579]
  深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。 本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。 我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
  論文  参考訳（メタデータ） (2020-02-10T20:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。