論文の概要: GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical
Flow Learning
- arxiv url: http://arxiv.org/abs/2301.10018v1
- Date: Mon, 23 Jan 2023 13:44:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-25 13:35:53.128463
- Title: GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical
Flow Learning
- Title(参考訳): GyroFlow+:ジャイロスコープによる教師なし深部ホログラフィーと光フロー学習
- Authors: Haipeng Li and Kunming Luo and Bing Zeng and Shuaicheng Liu
- Abstract要約: 既存のホモグラフィーと光学フロー法は、挑戦的なシーンでは誤っている。
我々はジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。
本手法は,レギュラーシーンと挑戦シーンの両方において最先端の手法より優れる。
- 参考スコア(独自算出の注目度): 43.87584329959394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing homography and optical flow methods are erroneous in challenging
scenes, such as fog, rain, night, and snow because the basic assumptions such
as brightness and gradient constancy are broken. To address this issue, we
present an unsupervised learning approach that fuses gyroscope into homography
and optical flow learning. Specifically, we first convert gyroscope readings
into motion fields named gyro field. Second, we design a self-guided fusion
module (SGF) to fuse the background motion extracted from the gyro field with
the optical flow and guide the network to focus on motion details. Meanwhile,
we propose a homography decoder module (HD) to combine gyro field and
intermediate results of SGF to produce the homography. To the best of our
knowledge, this is the first deep learning framework that fuses gyroscope data
and image content for both deep homography and optical flow learning. To
validate our method, we propose a new dataset that covers regular and
challenging scenes. Experiments show that our method outperforms the
state-of-the-art methods in both regular and challenging scenes.
- Abstract(参考訳): 既存のホモグラフィと光学フロー法は、明るさや勾配定数などの基本的な仮定が壊れているため、霧、雨、夜、雪などの困難な場面では誤りである。
本稿では,ジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。
具体的には、まずジャイロスコープの読みをジャイロフィールドと呼ばれる動き場に変換する。
第2に,ジャイロ場から抽出した背景運動と光流を融合させる自己誘導核融合モジュール(SGF)を設計し,移動の詳細に集中するようネットワークを誘導する。
一方,ジャイロ場とsgfの中間結果を組み合わせてホモグラフィを生成するホモグラフィデコーダモジュール(hd)を提案する。
私たちの知る限りでは、これはジャイロスコープデータと画像コンテンツを融合して、ディープホモグラフィとオプティカルフロー学習の両方を行う、初めてのディープラーニングフレームワークです。
提案手法を検証するために,規則的かつ困難な場面をカバーする新しいデータセットを提案する。
実験により,本手法は,通常シーンと挑戦シーンの両方において,最先端の手法よりも優れていた。
関連論文リスト
- Pix2Gif: Motion-Guided Diffusion for GIF Generation [70.64240654310754]
画像からGIF(ビデオ)生成のための移動誘導拡散モデルPix2Gifを提案する。
本研究では,2種類のプロンプトに条件付きソース画像の特徴を空間的に変換する動き誘導型ワープモジュールを提案する。
モデルトレーニングの準備として、TGIFビデオキャプチャデータセットからコヒーレントな画像フレームを抽出し、精巧にデータをキュレートした。
論文 参考訳(メタデータ) (2024-03-07T16:18:28Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳(メタデータ) (2023-09-28T07:46:01Z) - Exposure Fusion for Hand-held Camera Inputs with Optical Flow and
PatchMatch [53.149395644547226]
ハンドヘルドカメラによるマルチ露光画像融合のためのハイブリッド合成法を提案する。
提案手法は,このような動作に対処し,各入力の露光情報を効果的に維持する。
実験の結果,本手法の有効性とロバスト性を示した。
論文 参考訳(メタデータ) (2023-04-10T09:06:37Z) - ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving
Cameras in the Wild [57.37891682117178]
本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。
不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。
MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
論文 参考訳(メタデータ) (2022-07-19T09:19:45Z) - Unsupervised Learning of 3D Scene Flow from Monocular Camera [21.34395959441377]
実シーンにおけるシーンフローの基礎的真理を知ることは困難であり、近年の研究は、学習のための合成データに基づいている。
本稿では,モノクロカメラで撮影した2つの連続したフレームの画像を利用した,シーンフローの教師なし学習手法を提案する。
本手法は,実世界データを用いたシーンフローネットワークの学習を目標とし,トレーニングデータとテストデータとのギャップを埋めることを実現する。
論文 参考訳(メタデータ) (2022-06-08T04:57:27Z) - Depth-Aware Multi-Grid Deep Homography Estimation with Contextual
Correlation [38.95610086309832]
ホログラフィー推定は、画像ステッチ、ビデオ安定化、カメラキャリブレーションなどのコンピュータビジョンにおいて重要なタスクである。
従来のホモグラフィー推定法は特徴点の量と分布に依存するため、テクスチャレスシーンではロバスト性が低い。
特徴写像上の長距離相関を捉えることができ、学習フレームワークに柔軟にブリッジできるコンテキスト相関層を提案する。
我々は,新しい深度認識型形状保存損失を導入することで,ネットワークに深度知覚能力を持たせる。
論文 参考訳(メタデータ) (2021-07-06T10:33:12Z) - GyroFlow: Gyroscope-Guided Unsupervised Optical Flow Learning [12.320006863387757]
我々はジャイロスコープを光フロー学習に融合させる教師なし学習手法を提案する。
私たちの知る限りでは、これはジャイロスコープデータと画像コンテンツを光フロー学習に融合させた最初のディープラーニングベースのフレームワークです。
論文 参考訳(メタデータ) (2021-03-25T10:14:57Z) - Movement-induced Priors for Deep Stereo [27.098315663348814]
移動誘導事前情報を用いたステレオ不均質推定手法を提案する。
本稿では,3つのガウスプロセスカーネルの階層構造について述べる。
提案手法が2つの最先端のディープステレオ手法とどのように組み合わせられるかを示す。
論文 参考訳(メタデータ) (2020-10-18T21:02:25Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-10-16T12:36:23Z) - Movement Tracking by Optical Flow Assisted Inertial Navigation [18.67291804847956]
学習に基づく光フローモデルと従来の慣性ナビゲーションを組み合わせる方法を示す。
確率的深層学習のアイデアが測定更新の堅牢性にどのように役立つかを示す。
この実用性は、iPadが取得した現実世界のデータで実証されている。
論文 参考訳(メタデータ) (2020-06-24T16:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。