論文の概要: Skin the sheep not only once: Reusing Various Depth Datasets to Drive the Learning of Optical Flow

• arxiv url: http://arxiv.org/abs/2310.01833v1
• Date: Tue, 3 Oct 2023 06:56:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 17:14:36.772632
• Title: Skin the sheep not only once: Reusing Various Depth Datasets to Drive the Learning of Optical Flow
• Title（参考訳）: 羊の皮膚は一度だけでなく、様々な深度データセットを使って光の流れを学習する
• Authors: Sheng-Chi Huang, Wei-Chen Chiu
• Abstract要約: 本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。 モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。 また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
• 参考スコア（独自算出の注目度）: 25.23550076996421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optical flow estimation is crucial for various applications in vision and robotics. As the difficulty of collecting ground truth optical flow in real-world scenarios, most of the existing methods of learning optical flow still adopt synthetic dataset for supervised training or utilize photometric consistency across temporally adjacent video frames to drive the unsupervised learning, where the former typically has issues of generalizability while the latter usually performs worse than the supervised ones. To tackle such challenges, we propose to leverage the geometric connection between optical flow estimation and stereo matching (based on the similarity upon finding pixel correspondences across images) to unify various real-world depth estimation datasets for generating supervised training data upon optical flow. Specifically, we turn the monocular depth datasets into stereo ones via synthesizing virtual disparity, thus leading to the flows along the horizontal direction; moreover, we introduce virtual camera motion into stereo data to produce additional flows along the vertical direction. Furthermore, we propose applying geometric augmentations on one image of an optical flow pair, encouraging the optical flow estimator to learn from more challenging cases. Lastly, as the optical flow maps under different geometric augmentations actually exhibit distinct characteristics, an auxiliary classifier which trains to identify the type of augmentation from the appearance of the flow map is utilized to further enhance the learning of the optical flow estimator. Our proposed method is general and is not tied to any particular flow estimator, where extensive experiments based on various datasets and optical flow estimation models verify its efficacy and superiority.
• Abstract（参考訳）: 光フロー推定は視覚とロボット工学の様々な応用に不可欠である。 実世界のシナリオでは、基礎的真理の光学フローの収集が難しいため、既存の光学フローの学習法のほとんどは、教師あり訓練のために合成データセットを採用しており、また、時間的に隣接するビデオフレーム間の測光一貫性を利用して教師なし学習を駆動している。 このような課題に取り組むために,光フロー推定とステレオマッチング(画像間の画素対応の類似性に基づく)の幾何学的関係を活用し,様々な実世界深度推定データセットを統合し,光フロー上で教師付きトレーニングデータを生成することを提案する。 具体的には,仮想的差を合成し,水平方向の流れに繋がる単眼深度データセットをステレオデータに変換するとともに,ステレオデータに仮想カメラ動作を導入することで,垂直方向に沿って新たな流れを生成する。 さらに、光学フロー対の1つの画像に幾何学的拡張を適用し、より困難なケースから学習する光フロー推定器を提案する。 最後に、異なる幾何学的拡張の下での光フローマップが実際には異なる特性を示すため、フローマップの出現から拡張のタイプを識別するために訓練する補助分類器を用いて、光フロー推定器の学習をさらに強化する。 提案手法は汎用的で, 各種データセットおよび光フロー推定モデルに基づく広範囲な実験により, その有効性と優位性を検証した, 特定のフロー推定器に縛られない。

関連論文リスト

• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Joint Self-supervised Depth and Optical Flow Estimation towards Dynamic Objects [3.794605440322862]
  本研究では,フレーム間監督深度と光フロー推定の枠組みを構築した。 動作のセグメンテーションでは、予備推定光フローマップを広い接続領域で適応的に分割する。 提案手法は,KITTI深度データセット上で既存の深度推定器よりも優れた精度を示す。
  論文  参考訳（メタデータ） (2023-09-07T04:00:52Z)
• Improving Lens Flare Removal with General Purpose Pipeline and Multiple Light Sources Recovery [69.71080926778413]
  フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。 現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。 本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
  論文  参考訳（メタデータ） (2023-08-31T04:58:17Z)
• Optical Flow for Autonomous Driving: Applications, Challenges and Improvements [0.9023847175654602]
  学習に基づく光フローアルゴリズムを改善するためのトレーニング戦略を提案し,評価する。 合成データを訓練しながら、このモデルは現実世界の魚眼データに一般化する強力な能力を示す。 低光域における既存手法の性能を大幅に向上させる,新しい汎用的な半教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-11T12:01:42Z)
• Deep 360$^\circ$ Optical Flow Estimation Based on Multi-Projection Fusion [10.603670927163002]
  本稿では,広範に普及しているVRアプリケーションをサポートするために,ディープニューラルネットワークを用いた360ドル周光フロー推定に焦点を当てる。 異なる投射法を用いて訓練されたモデルにより予測される光の流れを融合する新しい多射影融合フレームワークを提案する。 また、ニューラルネットワークのトレーニングとパノラマ光フロー推定手法の評価を支援するために、最初の大規模パノラマ光フローデータセットを構築した。
  論文  参考訳（メタデータ） (2022-07-27T16:48:32Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• PCA Event-Based Otical Flow for Visual Odometry [0.0]
  本稿では,イベントベース光流量推定問題に対する主成分分析手法を提案する。 提案手法の最良の変種は,ビジュアルオドメトリーのリアルタイムコンテキストを対象とし,最先端実装と比較して約2倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-05-08T18:30:44Z)
• Learning optical flow from still images [53.295332513139925]
  我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。 既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。 我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:58Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization [59.9673626329892]
  エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。 我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
  論文  参考訳（メタデータ） (2020-02-26T22:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。