論文の概要: GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical Flow Learning

• arxiv url: http://arxiv.org/abs/2301.10018v1
• Date: Mon, 23 Jan 2023 13:44:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 13:35:53.128463
• Title: GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical Flow Learning
• Title（参考訳）: GyroFlow+:ジャイロスコープによる教師なし深部ホログラフィーと光フロー学習
• Authors: Haipeng Li and Kunming Luo and Bing Zeng and Shuaicheng Liu
• Abstract要約: 既存のホモグラフィーと光学フロー法は、挑戦的なシーンでは誤っている。 我々はジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。 本手法は,レギュラーシーンと挑戦シーンの両方において最先端の手法より優れる。
• 参考スコア（独自算出の注目度）: 43.87584329959394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing homography and optical flow methods are erroneous in challenging scenes, such as fog, rain, night, and snow because the basic assumptions such as brightness and gradient constancy are broken. To address this issue, we present an unsupervised learning approach that fuses gyroscope into homography and optical flow learning. Specifically, we first convert gyroscope readings into motion fields named gyro field. Second, we design a self-guided fusion module (SGF) to fuse the background motion extracted from the gyro field with the optical flow and guide the network to focus on motion details. Meanwhile, we propose a homography decoder module (HD) to combine gyro field and intermediate results of SGF to produce the homography. To the best of our knowledge, this is the first deep learning framework that fuses gyroscope data and image content for both deep homography and optical flow learning. To validate our method, we propose a new dataset that covers regular and challenging scenes. Experiments show that our method outperforms the state-of-the-art methods in both regular and challenging scenes.
• Abstract（参考訳）: 既存のホモグラフィと光学フロー法は、明るさや勾配定数などの基本的な仮定が壊れているため、霧、雨、夜、雪などの困難な場面では誤りである。 本稿では,ジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。 具体的には、まずジャイロスコープの読みをジャイロフィールドと呼ばれる動き場に変換する。 第2に,ジャイロ場から抽出した背景運動と光流を融合させる自己誘導核融合モジュール(SGF)を設計し,移動の詳細に集中するようネットワークを誘導する。 一方,ジャイロ場とsgfの中間結果を組み合わせてホモグラフィを生成するホモグラフィデコーダモジュール(hd)を提案する。 私たちの知る限りでは、これはジャイロスコープデータと画像コンテンツを融合して、ディープホモグラフィとオプティカルフロー学習の両方を行う、初めてのディープラーニングフレームワークです。 提案手法を検証するために,規則的かつ困難な場面をカバーする新しいデータセットを提案する。 実験により,本手法は,通常シーンと挑戦シーンの両方において,最先端の手法よりも優れていた。

関連論文リスト

• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Deep Rotation Correction without Angle Prior [57.76737888499145]
  我々は,高コンテンツ忠実度で傾きを自動的に補正する,回転補正という新しい実用的タスクを提案する。 このタスクは画像編集アプリケーションに簡単に統合でき、ユーザーは手動操作なしで回転した画像を修正できる。 我々はニューラルネットワークを利用して、傾斜した画像を知覚的に水平に歪めることができる光学フローを予測する。
  論文  参考訳（メタデータ） (2022-07-07T02:46:27Z)
• Unsupervised Learning of 3D Scene Flow from Monocular Camera [21.34395959441377]
  実シーンにおけるシーンフローの基礎的真理を知ることは困難であり、近年の研究は、学習のための合成データに基づいている。 本稿では,モノクロカメラで撮影した2つの連続したフレームの画像を利用した,シーンフローの教師なし学習手法を提案する。 本手法は,実世界データを用いたシーンフローネットワークの学習を目標とし,トレーニングデータとテストデータとのギャップを埋めることを実現する。
  論文  参考訳（メタデータ） (2022-06-08T04:57:27Z)
• Depth-Aware Multi-Grid Deep Homography Estimation with Contextual Correlation [38.95610086309832]
  ホログラフィー推定は、画像ステッチ、ビデオ安定化、カメラキャリブレーションなどのコンピュータビジョンにおいて重要なタスクである。 従来のホモグラフィー推定法は特徴点の量と分布に依存するため、テクスチャレスシーンではロバスト性が低い。 特徴写像上の長距離相関を捉えることができ、学習フレームワークに柔軟にブリッジできるコンテキスト相関層を提案する。 我々は,新しい深度認識型形状保存損失を導入することで,ネットワークに深度知覚能力を持たせる。
  論文  参考訳（メタデータ） (2021-07-06T10:33:12Z)
• GyroFlow: Gyroscope-Guided Unsupervised Optical Flow Learning [12.320006863387757]
  我々はジャイロスコープを光フロー学習に融合させる教師なし学習手法を提案する。 私たちの知る限りでは、これはジャイロスコープデータと画像コンテンツを光フロー学習に融合させた最初のディープラーニングベースのフレームワークです。
  論文  参考訳（メタデータ） (2021-03-25T10:14:57Z)
• Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder [62.580345486483886]
  本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。 この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。 Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2020-12-11T16:08:50Z)
• Movement-induced Priors for Deep Stereo [27.098315663348814]
  移動誘導事前情報を用いたステレオ不均質推定手法を提案する。 本稿では,3つのガウスプロセスカーネルの階層構造について述べる。 提案手法が2つの最先端のディープステレオ手法とどのように組み合わせられるかを示す。
  論文  参考訳（メタデータ） (2020-10-18T21:02:25Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Movement Tracking by Optical Flow Assisted Inertial Navigation [18.67291804847956]
  学習に基づく光フローモデルと従来の慣性ナビゲーションを組み合わせる方法を示す。 確率的深層学習のアイデアが測定更新の堅牢性にどのように役立つかを示す。 この実用性は、iPadが取得した現実世界のデータで実証されている。
  論文  参考訳（メタデータ） (2020-06-24T16:36:13Z)
• Self-Supervised Linear Motion Deblurring [112.75317069916579]
  深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。 本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。 我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
  論文  参考訳（メタデータ） (2020-02-10T20:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。