論文の概要: GyroFlow: Gyroscope-Guided Unsupervised Optical Flow Learning
- arxiv url: http://arxiv.org/abs/2103.13725v1
- Date: Thu, 25 Mar 2021 10:14:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 13:38:24.881110
- Title: GyroFlow: Gyroscope-Guided Unsupervised Optical Flow Learning
- Title（参考訳）: GyroFlow:ジャイロスコープによる教師なし光学フロー学習
- Authors: Haipeng Li and Kunming Luo and Shuaicheng Liu
- Abstract要約: 我々はジャイロスコープを光フロー学習に融合させる教師なし学習手法を提案する。
私たちの知る限りでは、これはジャイロスコープデータと画像コンテンツを光フロー学習に融合させた最初のディープラーニングベースのフレームワークです。
- 参考スコア（独自算出の注目度）: 12.320006863387757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing optical flow methods are erroneous in challenging scenes, such as
fog, rain, and night because the basic optical flow assumptions such as
brightness and gradient constancy are broken. To address this problem, we
present an unsupervised learning approach that fuses gyroscope into optical
flow learning. Specifically, we first convert gyroscope readings into motion
fields named gyro field. Then, we design a self-guided fusion module to fuse
the background motion extracted from the gyro field with the optical flow and
guide the network to focus on motion details. To the best of our knowledge,
this is the first deep learning-based framework that fuses gyroscope data and
image content for optical flow learning. To validate our method, we propose a
new dataset that covers regular and challenging scenes. Experiments show that
our method outperforms the state-of-art methods in both regular and challenging
scenes.
- Abstract（参考訳）: 既存の光学フロー法は、明るさや勾配定数などの基本的な光学フローの仮定が壊れているため、霧、雨、夜などの困難な場面では誤りである。
そこで本研究では,ジャイロスコープを光学フロー学習に融合させる教師なし学習手法を提案する。
具体的には、まずジャイロスコープの読みをジャイロフィールドと呼ばれる動き場に変換する。
そして,ジャイロ場から抽出した背景運動と光流を融合させる自己誘導核融合モジュールを設計し,移動の詳細に集中するようネットワークに誘導する。
私たちの知る限りでは、光フロー学習のためのジャイロスコープデータと画像コンテンツを融合する初めてのディープラーニングベースのフレームワークである。
提案手法を検証するために,規則的かつ困難な場面をカバーする新しいデータセットを提案する。
実験により,本手法は,通常シーンと挑戦シーンの両方において,最先端の手法よりも優れていた。
関連論文リスト
- Dense Monocular Motion Segmentation Using Optical Flow and Pseudo Depth Map: A Zero-Shot Approach [6.805017878728801]
トレーニングを必要とせずに高密度な動きセグメンテーションを実現するための革新的なハイブリッド手法を提案する。
本手法は,基礎モデルを用いて各フレームのオブジェクト提案を自動的に生成することにより開始する。
最先端のモノクル深度推定モデルから得られた深度マップの統合は、光学的流れによって提供される運動キューを著しく向上させる。
論文 参考訳（メタデータ） (2024-06-27T02:11:33Z) - Skin the sheep not only once: Reusing Various Depth Datasets to Drive
the Learning of Optical Flow [25.23550076996421]
本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。
モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。
また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
論文 参考訳（メタデータ） (2023-10-03T06:56:07Z) - GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical
Flow Learning [43.87584329959394]
既存のホモグラフィーと光学フロー法は、挑戦的なシーンでは誤っている。
我々はジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。
本手法は,レギュラーシーンと挑戦シーンの両方において最先端の手法より優れる。
論文 参考訳（メタデータ） (2023-01-23T13:44:15Z) - Optical Flow for Autonomous Driving: Applications, Challenges and
Improvements [0.9023847175654602]
学習に基づく光フローアルゴリズムを改善するためのトレーニング戦略を提案し,評価する。
合成データを訓練しながら、このモデルは現実世界の魚眼データに一般化する強力な能力を示す。
低光域における既存手法の性能を大幅に向上させる,新しい汎用的な半教師付きフレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-11T12:01:42Z) - Deep Rotation Correction without Angle Prior [57.76737888499145]
我々は,高コンテンツ忠実度で傾きを自動的に補正する,回転補正という新しい実用的タスクを提案する。
このタスクは画像編集アプリケーションに簡単に統合でき、ユーザーは手動操作なしで回転した画像を修正できる。
我々はニューラルネットワークを利用して、傾斜した画像を知覚的に水平に歪めることができる光学フローを予測する。
論文 参考訳（メタデータ） (2022-07-07T02:46:27Z) - Dimensions of Motion: Learning to Predict a Subspace of Optical Flow
from a Single Image [50.9686256513627]
本稿では,1つのビデオフレームから,実際の瞬時光フローを含む低次元の光フローのサブスペースを予測する問題を紹介する。
いくつかの自然シーンの仮定によって、不均一性によってパラメータ化されたベースフローフィールドの集合を通して、適切なフロー部分空間を特定できることを示す。
これは、カメラの内在やポーズを必要とせずに、単眼入力ビデオを使用して教師なしの方法でこれらのタスクを学習する新しいアプローチを提供する。
論文 参考訳（メタデータ） (2021-12-02T18:52:54Z) - Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文 参考訳（メタデータ） (2021-04-08T17:59:58Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - Relighting Images in the Wild with a Self-Supervised Siamese
Auto-Encoder [62.580345486483886]
本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。
この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。
Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
論文 参考訳（メタデータ） (2020-12-11T16:08:50Z) - Movement Tracking by Optical Flow Assisted Inertial Navigation [18.67291804847956]
学習に基づく光フローモデルと従来の慣性ナビゲーションを組み合わせる方法を示す。
確率的深層学習のアイデアが測定更新の堅牢性にどのように役立つかを示す。
この実用性は、iPadが取得した現実世界のデータで実証されている。
論文 参考訳（メタデータ） (2020-06-24T16:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。