論文の概要: GAFlow: Incorporating Gaussian Attention into Optical Flow

• arxiv url: http://arxiv.org/abs/2309.16217v1
• Date: Thu, 28 Sep 2023 07:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 15:38:42.083634
• Title: GAFlow: Incorporating Gaussian Attention into Optical Flow
• Title（参考訳）: GAFlow:ガウスの注意を光フローに組み込む
• Authors: Ao Luo, Fan Yang, Xin Li, Lang Nie, Chunyu Lin, Haoqiang Fan, Shuaicheng Liu
• Abstract要約: 我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。 本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。 動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
• 参考スコア（独自算出の注目度）: 62.646389181507764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical flow, or the estimation of motion fields from image sequences, is one of the fundamental problems in computer vision. Unlike most pixel-wise tasks that aim at achieving consistent representations of the same category, optical flow raises extra demands for obtaining local discrimination and smoothness, which yet is not fully explored by existing approaches. In this paper, we push Gaussian Attention (GA) into the optical flow models to accentuate local properties during representation learning and enforce the motion affinity during matching. Specifically, we introduce a novel Gaussian-Constrained Layer (GCL) which can be easily plugged into existing Transformer blocks to highlight the local neighborhood that contains fine-grained structural information. Moreover, for reliable motion analysis, we provide a new Gaussian-Guided Attention Module (GGAM) which not only inherits properties from Gaussian distribution to instinctively revolve around the neighbor fields of each point but also is empowered to put the emphasis on contextually related regions during matching. Our fully-equipped model, namely Gaussian Attention Flow network (GAFlow), naturally incorporates a series of novel Gaussian-based modules into the conventional optical flow framework for reliable motion analysis. Extensive experiments on standard optical flow datasets consistently demonstrate the exceptional performance of the proposed approach in terms of both generalization ability evaluation and online benchmark testing. Code is available at https://github.com/LA30/GAFlow.
• Abstract（参考訳）: 光の流れ、または画像列からの運動場の推定は、コンピュータビジョンの基本的な問題の一つである。 同じカテゴリの一貫した表現の実現を目指すほとんどのピクセル単位でのタスクとは異なり、光学フローは局所的な識別と滑らかさを得るための追加の要求を提起するが、既存のアプローチでは十分に検討されていない。 本稿では,gaussian attention (ga) を光フローモデルに押し込み,表現学習中の局所的性質を強調し,マッチング時の運動親和性を強制する。 具体的には,既存の変圧器ブロックに容易に接続できる新しいガウス拘束層(gcl)を導入し,細粒度構造情報を含む近傍を強調する。 さらに, 信頼度の高い動き解析のために, ガウス分布から本能的に回転する性質を継承するだけでなく, 文脈的関連領域に着目した新たなガウス的注意モジュール (ggam) を提案する。 完全装備モデルであるgaussian attention flow network(gaflow)は,従来の光学フローフレームワークに自然に一連の新しいガウス型モジュールを組み込んで,信頼性の高い動作解析を行う。 標準光学フローデータセットの広範な実験は、一般化能力評価とオンラインベンチマークテストの両方の観点から提案手法の例外的な性能を一貫して実証している。 コードはhttps://github.com/LA30/GAFlow.comで入手できる。

関連論文リスト

• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Hierarchical Graph Pattern Understanding for Zero-Shot VOS [102.21052200245457]
  本稿では、ゼロショットビデオオブジェクトセグメンテーション(ZS-VOS)のための新しい階層型グラフニューラルネットワーク(GNN)アーキテクチャを提案する。 構造的関係を捕捉するGNNの強い能力にインスパイアされたHGPUは、運動キュー(すなわち光の流れ)を革新的に活用し、ターゲットフレームの隣人からの高次表現を強化する。
  論文  参考訳（メタデータ） (2023-12-15T04:13:21Z)
• Identification of vortex in unstructured mesh with graph neural networks [0.0]
  本稿では,非構造化メッシュ上でのCFD結果の渦を特定するために,U-Netアーキテクチャを用いたグラフニューラルネットワーク(GNN)に基づくモデルを提案する。 2次元CFDメッシュにおける渦領域をラベル付けするための渦自動ラベル法を提案する。
  論文  参考訳（メタデータ） (2023-11-11T12:10:16Z)
• EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
  本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。 本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。 提案手法は, 教師なし手法よりも優れ, 効率的である。
  論文  参考訳（メタデータ） (2022-01-06T14:35:45Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• Sensor-Guided Optical Flow [53.295332513139925]
  本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。 能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:59:57Z)
• CaloFlow: Fast and Accurate Generation of Calorimeter Showers with Normalizing Flows [0.0]
  正規化フローに基づく高速検出器シミュレーションフレームワークであるCaloFlowを紹介する。 本研究は, フローの正規化により, 極めて高い忠実度で多チャンネルのカロリーメータシャワーを再現できることを初めて実証した。
  論文  参考訳（メタデータ） (2021-06-09T18:00:02Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。