論文の概要: Memory-Efficient Optical Flow via Radius-Distribution Orthogonal Cost Volume

• arxiv url: http://arxiv.org/abs/2312.03790v1
• Date: Wed, 6 Dec 2023 12:43:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 17:26:20.746269
• Title: Memory-Efficient Optical Flow via Radius-Distribution Orthogonal Cost Volume
• Title（参考訳）: 半径分布直交コスト体積を経由するメモリ効率光フロー
• Authors: Gangwei Xu, Shujun Chen, Hao Jia, Miaojie Feng, Xin Yang
• Abstract要約: 本稿では,高分解能光フロー推定のためのメモリ効率の高い新しい手法であるMeFlowを提案する。 Sintel と KITTI のベンチマークでは,高解像度入力において高いメモリ効率を維持しながら,競合性能を実現している。
• 参考スコア（独自算出の注目度）: 6.122542233250026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The full 4D cost volume in Recurrent All-Pairs Field Transforms (RAFT) or global matching by Transformer achieves impressive performance for optical flow estimation. However, their memory consumption increases quadratically with input resolution, rendering them impractical for high-resolution images. In this paper, we present MeFlow, a novel memory-efficient method for high-resolution optical flow estimation. The key of MeFlow is a recurrent local orthogonal cost volume representation, which decomposes the 2D search space dynamically into two 1D orthogonal spaces, enabling our method to scale effectively to very high-resolution inputs. To preserve essential information in the orthogonal space, we utilize self attention to propagate feature information from the 2D space to the orthogonal space. We further propose a radius-distribution multi-scale lookup strategy to model the correspondences of large displacements at a negligible cost. We verify the efficiency and effectiveness of our method on the challenging Sintel and KITTI benchmarks, and real-world 4K ($2160\!\times\!3840$) images. Our method achieves competitive performance on both Sintel and KITTI benchmarks, while maintaining the highest memory efficiency on high-resolution inputs.
• Abstract（参考訳）: Recurrent All-Pairs Field Transforms (RAFT) または Global matching by Transformer のフル4Dコストボリュームは、光学的フロー推定において素晴らしい性能を達成する。 しかし、そのメモリ消費は入力解像度と二乗的に増加し、高解像度画像では実用的でない。 本稿では,高分解能光流量推定のためのメモリ効率の高い手法であるmeflowを提案する。 MeFlowの鍵となるのは,2次元の探索空間を動的に2次元の直交空間に分解する局所直交コスト容積表現である。 直交空間における本質的な情報を保存するために、自己注意を利用して2次元空間から直交空間へ特徴情報を伝達する。 さらに,大きな変位の対応性を無視可能なコストでモデル化するための,半径分布多スケール探索戦略を提案する。 SintelとKITTIのベンチマークと実世界の4K(2160\! タイムズ! 3840ドル)の画像。 Sintel と KITTI のベンチマークでは,高解像度入力において高いメモリ効率を維持しながら,競合性能を実現する。

関連論文リスト

• Hybrid Cost Volume for Memory-Efficient Optical Flow [10.760762249786344]
  現在の最先端のフロー法は、主に高密度全対のコストボリュームに基づいている。 メモリ効率の高い光流用ハイブリッドコストボリュームHCVを提案する。 HCVをベースとして,HCVFlowというメモリ効率の高い光フローネットワークを設計する。
  論文  参考訳（メタデータ） (2024-09-06T12:49:34Z)
• Mamba-based Light Field Super-Resolution with Efficient Subspace Scanning [48.99361249764921]
  4次元光場(LF)超解像において,トランスフォーマー法は優れた性能を示した。 しかし、その二次的な複雑さは、高解像度の4D入力の効率的な処理を妨げる。 我々は,効率的な部分空間走査戦略を設計し,マンバをベースとした光場超解法 MLFSR を提案する。
  論文  参考訳（メタデータ） (2024-06-23T11:28:08Z)
• DIFT: Dynamic Iterative Field Transforms for Memory Efficient Optical Flow [44.57023882737517]
  光フロー推定のための軽量低レイテンシ・メモリ効率モデルを提案する。 DIFTは、モバイル、XR、マイクロUAV、ロボティクス、カメラなどのエッジアプリケーションで実現可能である。 Snapdragon 8 Gen 1 HTPの効率的なモバイルAIアクセラレータ上で,最初のリアルタイムコストボリュームベースの光フローDLアーキテクチャを実演する。
  論文  参考訳（メタデータ） (2023-06-09T06:10:59Z)
• SALISA: Saliency-based Input Sampling for Efficient Video Object Detection [58.22508131162269]
  ビデオオブジェクト検出のための新しい一様SALiencyベースの入力SAmpling技術であるSALISAを提案する。 SALISAは小物体の検出を著しく改善することを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:59:51Z)
• High-Resolution Optical Flow from 1D Attention and Correlation [89.61824964952949]
  計算量を大幅に削減した高分解能光フロー推定法を提案する。 まず、対象画像の垂直方向の1Dアテンション操作を行い、その後、参加者画像の水平方向の単純な1D相関を行う。 Sintel,KITTIおよび実世界の4K解像度画像を用いた実験により,提案手法の有効性と優位性を示した。
  論文  参考訳（メタデータ） (2021-04-28T17:56:34Z)
• Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo [61.6260594326246]
  空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
  論文  参考訳（メタデータ） (2021-03-22T18:06:58Z)
• Displacement-Invariant Cost Computation for Efficient Stereo Matching [122.94051630000934]
  ディープラーニング手法は、前例のない不一致の精度を得ることによって、ステレオマッチングのリーダーボードを支配してきた。 しかし、その推測時間は一般的に540p画像の秒数で遅い。 本研究では,4次元特徴量を必要としないEmphdisplacement-invariant cost moduleを提案する。
  論文  参考訳（メタデータ） (2020-12-01T23:58:16Z)
• Displacement-Invariant Matching Cost Learning for Accurate Optical Flow Estimation [109.64756528516631]
  学習のマッチングコストは、最先端のディープステレオマッチング手法の成功に不可欠であることが示されている。 本稿では,5次元特徴量構築の要件を回避できる新しい手法を提案する。 提案手法は,各種データセットにおける最先端の精度を実現し,Sintelベンチマークにおける全光フロー法より優れる。
  論文  参考訳（メタデータ） (2020-10-28T09:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。