論文の概要: GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical Flow Learning

• arxiv url: http://arxiv.org/abs/2301.10018v1
• Date: Mon, 23 Jan 2023 13:44:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 13:35:53.128463
• Title: GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical Flow Learning
• Title（参考訳）: GyroFlow+:ジャイロスコープによる教師なし深部ホログラフィーと光フロー学習
• Authors: Haipeng Li and Kunming Luo and Bing Zeng and Shuaicheng Liu
• Abstract要約: 既存のホモグラフィーと光学フロー法は、挑戦的なシーンでは誤っている。 我々はジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。 本手法は,レギュラーシーンと挑戦シーンの両方において最先端の手法より優れる。
• 参考スコア（独自算出の注目度）: 43.87584329959394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing homography and optical flow methods are erroneous in challenging scenes, such as fog, rain, night, and snow because the basic assumptions such as brightness and gradient constancy are broken. To address this issue, we present an unsupervised learning approach that fuses gyroscope into homography and optical flow learning. Specifically, we first convert gyroscope readings into motion fields named gyro field. Second, we design a self-guided fusion module (SGF) to fuse the background motion extracted from the gyro field with the optical flow and guide the network to focus on motion details. Meanwhile, we propose a homography decoder module (HD) to combine gyro field and intermediate results of SGF to produce the homography. To the best of our knowledge, this is the first deep learning framework that fuses gyroscope data and image content for both deep homography and optical flow learning. To validate our method, we propose a new dataset that covers regular and challenging scenes. Experiments show that our method outperforms the state-of-the-art methods in both regular and challenging scenes.
• Abstract（参考訳）: 既存のホモグラフィと光学フロー法は、明るさや勾配定数などの基本的な仮定が壊れているため、霧、雨、夜、雪などの困難な場面では誤りである。 本稿では,ジャイロスコープをホモグラフィと光フロー学習に融合させる教師なし学習手法を提案する。 具体的には、まずジャイロスコープの読みをジャイロフィールドと呼ばれる動き場に変換する。 第2に,ジャイロ場から抽出した背景運動と光流を融合させる自己誘導核融合モジュール(SGF)を設計し,移動の詳細に集中するようネットワークを誘導する。 一方,ジャイロ場とsgfの中間結果を組み合わせてホモグラフィを生成するホモグラフィデコーダモジュール(hd)を提案する。 私たちの知る限りでは、これはジャイロスコープデータと画像コンテンツを融合して、ディープホモグラフィとオプティカルフロー学習の両方を行う、初めてのディープラーニングフレームワークです。 提案手法を検証するために,規則的かつ困難な場面をカバーする新しいデータセットを提案する。 実験により,本手法は,通常シーンと挑戦シーンの両方において,最先端の手法よりも優れていた。

関連論文リスト

• Improving Unsupervised Video Object Segmentation via Fake Flow Generation [20.89278343723177]
  本稿では,単一画像からの擬似光フローをシミュレートする新しいデータ生成手法を提案する。 光フローマップは深度マップに大きく依存していることから着想を得て,各画像の深度マップを精細化し,拡大することにより,偽の光フローを生成する。
  論文  参考訳（メタデータ） (2024-07-16T13:32:50Z)
• Dense Monocular Motion Segmentation Using Optical Flow and Pseudo Depth Map: A Zero-Shot Approach [6.805017878728801]
  トレーニングを必要とせずに高密度な動きセグメンテーションを実現するための革新的なハイブリッド手法を提案する。 本手法は,基礎モデルを用いて各フレームのオブジェクト提案を自動的に生成することにより開始する。 最先端のモノクル深度推定モデルから得られた深度マップの統合は、光学的流れによって提供される運動キューを著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-27T02:11:33Z)
• Gyro-based Neural Single Image Deblurring [25.97417586599356]
  本稿では,ジャイロセンサを用いて画像劣化の悪さを解消する単一画像除去手法を提案する。 GyroDeblurNetは、ジャイロ精製ブロックとジャイロ分解ブロックという、2つの新しいニューラルネットワークブロックを備えている。 提案手法は, 誤ジャイロデータを有効利用することにより, 最先端の劣化品質を実現することを実証した。
  論文  参考訳（メタデータ） (2024-04-01T04:43:45Z)
• Pix2Gif: Motion-Guided Diffusion for GIF Generation [70.64240654310754]
  画像からGIF(ビデオ)生成のための移動誘導拡散モデルPix2Gifを提案する。 本研究では,2種類のプロンプトに条件付きソース画像の特徴を空間的に変換する動き誘導型ワープモジュールを提案する。 モデルトレーニングの準備として、TGIFビデオキャプチャデータセットからコヒーレントな画像フレームを抽出し、精巧にデータをキュレートした。
  論文  参考訳（メタデータ） (2024-03-07T16:18:28Z)
• GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
  我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。 本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。 動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
  論文  参考訳（メタデータ） (2023-09-28T07:46:01Z)
• Exposure Fusion for Hand-held Camera Inputs with Optical Flow and PatchMatch [53.149395644547226]
  ハンドヘルドカメラによるマルチ露光画像融合のためのハイブリッド合成法を提案する。 提案手法は,このような動作に対処し,各入力の露光情報を効果的に維持する。 実験の結果,本手法の有効性とロバスト性を示した。
  論文  参考訳（メタデータ） (2023-04-10T09:06:37Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• Depth-Aware Multi-Grid Deep Homography Estimation with Contextual Correlation [38.95610086309832]
  ホログラフィー推定は、画像ステッチ、ビデオ安定化、カメラキャリブレーションなどのコンピュータビジョンにおいて重要なタスクである。 従来のホモグラフィー推定法は特徴点の量と分布に依存するため、テクスチャレスシーンではロバスト性が低い。 特徴写像上の長距離相関を捉えることができ、学習フレームワークに柔軟にブリッジできるコンテキスト相関層を提案する。 我々は,新しい深度認識型形状保存損失を導入することで,ネットワークに深度知覚能力を持たせる。
  論文  参考訳（メタデータ） (2021-07-06T10:33:12Z)
• GyroFlow: Gyroscope-Guided Unsupervised Optical Flow Learning [12.320006863387757]
  我々はジャイロスコープを光フロー学習に融合させる教師なし学習手法を提案する。 私たちの知る限りでは、これはジャイロスコープデータと画像コンテンツを光フロー学習に融合させた最初のディープラーニングベースのフレームワークです。
  論文  参考訳（メタデータ） (2021-03-25T10:14:57Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。