論文の概要: Global Matching with Overlapping Attention for Optical Flow Estimation

• arxiv url: http://arxiv.org/abs/2203.11335v1
• Date: Mon, 21 Mar 2022 20:52:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 13:58:32.718376
• Title: Global Matching with Overlapping Attention for Optical Flow Estimation
• Title（参考訳）: オプティカルフロー推定のための重複注意によるグローバルマッチング
• Authors: Shiyu Zhao, Long Zhao, Zhixing Zhang, Enyu Zhou, Dimitris Metaxas
• Abstract要約: GMFlowNetは光学フロー推定のための学習ベースのマッチング最適化フレームワークである。 標準ベンチマークで最先端のパフォーマンスを達成する。 GMFlowNetは、マッチングと重なり合う注意により、テクスチャレス領域と大きな動きの予測に大きな改善をもたらす。
• 参考スコア（独自算出の注目度）: 10.320192824517358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical flow estimation is a fundamental task in computer vision. Recent direct-regression methods using deep neural networks achieve remarkable performance improvement. However, they do not explicitly capture long-term motion correspondences and thus cannot handle large motions effectively. In this paper, inspired by the traditional matching-optimization methods where matching is introduced to handle large displacements before energy-based optimizations, we introduce a simple but effective global matching step before the direct regression and develop a learning-based matching-optimization framework, namely GMFlowNet. In GMFlowNet, global matching is efficiently calculated by applying argmax on 4D cost volumes. Additionally, to improve the matching quality, we propose patch-based overlapping attention to extract large context features. Extensive experiments demonstrate that GMFlowNet outperforms RAFT, the most popular optimization-only method, by a large margin and achieves state-of-the-art performance on standard benchmarks. Thanks to the matching and overlapping attention, GMFlowNet obtains major improvements on the predictions for textureless regions and large motions. Our code is made publicly available at https://github.com/xiaofeng94/GMFlowNet
• Abstract（参考訳）: 光フロー推定はコンピュータビジョンの基本的なタスクである。 近年のディープニューラルネットワークによる直接回帰法は,優れた性能向上を実現している。 しかし、それらは長期動作の対応を明示的に捉えていないため、大きな動きを効果的に扱えない。 本稿では,エネルギーベース最適化の前に大きな変位を処理するためにマッチングを導入する従来のマッチング最適化手法に触発されて,直接回帰前の単純かつ効果的なグローバルマッチングステップを導入し,gmflownetと呼ばれる学習ベースのマッチング最適化フレームワークを開発した。 GMFlowNetでは、4次元コストボリュームにargmaxを適用することにより、グローバルマッチングを効率的に計算する。 さらに、マッチング品質を改善するために、大きなコンテキスト特徴を抽出するパッチベースの重複注意を提案する。 GMFlowNetは、最も一般的な最適化専用手法であるRAFTを大きなマージンで上回り、標準ベンチマークで最先端のパフォーマンスを達成している。 GMFlowNetは、マッチングと重なり合う注意により、テクスチャレス領域と大きな動きの予測に大きな改善をもたらす。 私たちのコードはhttps://github.com/xiaofeng94/GMFlowNetで公開されています。

関連論文リスト

• Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization [4.158255103170876]
  GFlowNetsは、与えられた報酬関数に比例したオブジェクトのサンプルを学習する生成モデルのファミリーである。 近年の研究では,GFlowNetトレーニングとエントロピー規則化強化学習問題との密接な関係が示されている。 本稿では,エントロピー規則化マルコフ決定プロセスにおいて,値関数を直接逐次的に適用する,シンプルな後方ポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-20T19:12:14Z)
• Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
  グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。 FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。 ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-19T18:00:15Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• DAG Matters! GFlowNets Enhanced Explainer For Graph Neural Networks [30.19635147123557]
  我々はGFlowNetsベースのGNN Explainer(GFlowExplainer)という生成構造を提案する。 我々のGFlowExplainerは、サブグラフの確率がその報酬に比例するサブグラフの分布を生成するポリシーを学習することを目的としています。 我々は合成データと実データの両方について広範な実験を行い、質的および定量的な結果はGFlowExplainerの優位性を示している。
  論文  参考訳（メタデータ） (2023-03-04T16:15:25Z)
• Robust Scheduling with GFlowNets [6.6908747077585105]
  本稿では,新しいGFlowNet手法を用いて,プロキシメトリックに比例してサンプリングすることでスケジューリングを行う手法を提案する。 本稿では,提案したスケジュールの多様性と良さのトレードオフを推論時に制御する手法を提案する。
  論文  参考訳（メタデータ） (2023-01-17T18:59:15Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions [11.769185588579488]
  本稿では,アクセル実装に適した特性とともに,メモリ消費と遅延を低減した最先端性能を示す。 提案手法は,エッジ数に比例するメモリを必要とする競合手法とは対照的に,グラフ内の頂点数に比例するメモリを用いる。 GNNが表現力を大幅に高める技術であるアグリゲーター融合を提案し、標準のスパース行列乗算よりも19%の遅延がわずかに増加している。
  論文  参考訳（メタデータ） (2021-04-03T20:54:36Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。