論文の概要: Hybrid Cost Volume for Memory-Efficient Optical Flow

• arxiv url: http://arxiv.org/abs/2409.04243v1
• Date: Fri, 6 Sep 2024 12:49:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 15:55:18.146776
• Title: Hybrid Cost Volume for Memory-Efficient Optical Flow
• Title（参考訳）: メモリ効率のよい光フローのためのハイブリッドコストボリューム
• Authors: Yang Zhao, Gangwei Xu, Gang Wu,
• Abstract要約: 現在の最先端のフロー法は、主に高密度全対のコストボリュームに基づいている。 メモリ効率の高い光流用ハイブリッドコストボリュームHCVを提案する。 HCVをベースとして,HCVFlowというメモリ効率の高い光フローネットワークを設計する。
• 参考スコア（独自算出の注目度）: 10.760762249786344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current state-of-the-art flow methods are mostly based on dense all-pairs cost volumes. However, as image resolution increases, the computational and spatial complexity of constructing these cost volumes grows at a quartic rate, making these methods impractical for high-resolution images. In this paper, we propose a novel Hybrid Cost Volume for memory-efficient optical flow, named HCV. To construct HCV, we first propose a Top-k strategy to separate the 4D cost volume into two global 3D cost volumes. These volumes significantly reduce memory usage while retaining a substantial amount of matching information. We further introduce a local 4D cost volume with a local search space to supplement the local information for HCV. Based on HCV, we design a memory-efficient optical flow network, named HCVFlow. Compared to the recurrent flow methods based the all-pairs cost volumes, our HCVFlow significantly reduces memory consumption while ensuring high accuracy. We validate the effectiveness and efficiency of our method on the Sintel and KITTI datasets and real-world 4K (2160*3840) resolution images. Extensive experiments show that our HCVFlow has very low memory usage and outperforms other memory-efficient methods in terms of accuracy. The code is publicly available at https://github.com/gangweiX/HCVFlow.
• Abstract（参考訳）: 現在の最先端のフロー法は、主に高密度全対のコストボリュームに基づいている。 しかし、画像解像度が増大するにつれて、これらのコストボリュームを構成する計算量と空間的複雑さは質的な速度で増大し、高解像度画像には実用的でない。 本稿では,HCV(Hybrid Cost Volume for memory- efficient optical flow)を提案する。 HCVを構築するために,まず4Dコストボリュームを2つのグローバルな3Dコストボリュームに分割するTop-k戦略を提案する。 これらのボリュームは、かなりの量のマッチング情報を保持しながら、メモリ使用量を大幅に削減する。 さらに、HCVのローカル情報を補うために、ローカル検索スペースを備えたローカル4Dコストボリュームを導入する。 HCVをベースとして,HCVFlowというメモリ効率の高い光フローネットワークを設計する。 HCVFlowは、全対コストボリュームに基づく再帰流法と比較して、高い精度を確保しつつ、メモリ消費を著しく削減する。 Sintel と KITTI のデータセットと実世界の 4K (2160*3840) 解像度画像に対して,本手法の有効性と有効性を検証する。 大規模な実験により,HCVFlowはメモリ使用量が非常に少なく,精度で他のメモリ効率の手法よりも優れていることが示された。 コードはhttps://github.com/gangweiX/HCVFlowで公開されている。

関連論文リスト

• LightStereo: Channel Boost Is All Your Need for Efficient 2D Cost Aggregation [27.00836175513738]
  LightStereoは、マッチングプロセスを加速するために作られた最先端のステレオマッチングネットワークである。 私たちのブレークスルーは、3Dコストボリュームのチャネル次元に特化してパフォーマンスを向上させることです。 LightStereoは、SceneFlowデータセットで競合するEPEメトリックを達成し、最低でも22GFLOPと17msのランタイムを必要とする。
  論文  参考訳（メタデータ） (2024-06-28T11:11:24Z)
• Memory-Efficient Optical Flow via Radius-Distribution Orthogonal Cost Volume [6.122542233250026]
  本稿では,高分解能光フロー推定のためのメモリ効率の高い新しい手法であるMeFlowを提案する。 Sintel と KITTI のベンチマークでは,高解像度入力において高いメモリ効率を維持しながら,競合性能を実現している。
  論文  参考訳（メタデータ） (2023-12-06T12:43:11Z)
• DIFT: Dynamic Iterative Field Transforms for Memory Efficient Optical Flow [44.57023882737517]
  光フロー推定のための軽量低レイテンシ・メモリ効率モデルを提案する。 DIFTは、モバイル、XR、マイクロUAV、ロボティクス、カメラなどのエッジアプリケーションで実現可能である。 Snapdragon 8 Gen 1 HTPの効率的なモバイルAIアクセラレータ上で,最初のリアルタイムコストボリュームベースの光フローDLアーキテクチャを実演する。
  論文  参考訳（メタデータ） (2023-06-09T06:10:59Z)
• FlowFormer: A Transformer Architecture and Its Masked Cost Volume Autoencoding for Optical Flow [49.40637769535569]
  本稿では,新しいトランスフォーマーベースのネットワークアーキテクチャであるFlowFormerとMasked Cost Volume AutoVA(MCVA)を導入し,光フロー推定の問題に取り組む。 FlowFormerは、ソースターゲットイメージペアから構築された4Dコストボリュームをトークン化し、コストボリュームエンコーダデコーダアーキテクチャでフロー推定を反復的に洗練する。 Sintelのベンチマークでは、FlowFormerアーキテクチャは、クリーンパスとファイナルパスの平均エンドポイントエラー(AEPE)を1.16と2.09で達成し、エラーを16.5%、エラーを15.5%削減した。
  論文  参考訳（メタデータ） (2023-06-08T12:24:04Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation [65.83008812026635]
  本稿では,GCE ( Guided Cost Volume Excitation) を構築し,画像によって誘導されるコストボリュームの簡単なチャネル励磁により,性能が大幅に向上することを示す。 我々はCorrelate-and-Excite(CoEx)と呼ぶエンドツーエンドネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:32:26Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Displacement-Invariant Matching Cost Learning for Accurate Optical Flow Estimation [109.64756528516631]
  学習のマッチングコストは、最先端のディープステレオマッチング手法の成功に不可欠であることが示されている。 本稿では,5次元特徴量構築の要件を回避できる新しい手法を提案する。 提案手法は,各種データセットにおける最先端の精度を実現し,Sintelベンチマークにおける全光フロー法より優れる。
  論文  参考訳（メタデータ） (2020-10-28T09:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。