論文の概要: MambaFlow: A Mamba-Centric Architecture for End-to-End Optical Flow Estimation

• arxiv url: http://arxiv.org/abs/2503.07046v1
• Date: Mon, 10 Mar 2025 08:33:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:48:01.982301
• Title: MambaFlow: A Mamba-Centric Architecture for End-to-End Optical Flow Estimation
• Title（参考訳）: MambaFlow: エンドツーエンドの光フロー推定のためのMamba-Centric Architecture
• Authors: Juntian Du, Yuan Sun, Zhihu Zhou, Pinyi Chen, Runzhe Zhang, Keji Mao,
• Abstract要約: エンド・ツー・エンド光フロー推定のための最初のマンバ中心アーキテクチャである。 MambaFlowは1.60のEPEを達成し、GMFlowの1.74を上回っている。 MambaFlowは0.113秒のランタイムで推論速度を大幅に改善し、GMFlowよりも18%高速になった。
• 参考スコア（独自算出の注目度）: 1.5828557827183316
• License:
• Abstract: Optical flow estimation based on deep learning, particularly the recently proposed top-performing methods that incorporate the Transformer, has demonstrated impressive performance, due to the Transformer's powerful global modeling capabilities. However, the quadratic computational complexity of attention mechanism in the Transformers results in time-consuming training and inference. To alleviate these issues, we propose a novel MambaFlow framework that leverages the high accuracy and efficiency of Mamba architecture to capture features with local correlation while preserving its global information, achieving remarkable performance. To the best of our knowledge, the proposed method is the first Mamba-centric architecture for end-to-end optical flow estimation. It comprises two primary contributed components, both of which are Mamba-centric: a feature enhancement Mamba (FEM) module designed to optimize feature representation quality and a flow propagation Mamba (FPM) module engineered to address occlusion issues by facilitate effective flow information dissemination. Extensive experiments demonstrate that our approach achieves state-of-the-art results, despite encountering occluded regions. On the Sintel benchmark, MambaFlow achieves an EPE all of 1.60, surpassing the leading 1.74 of GMFlow. Additionally, MambaFlow significantly improves inference speed with a runtime of 0.113 seconds, making it 18% faster than GMFlow. The source code will be made publicly available upon acceptance of the paper.
• Abstract（参考訳）: ディープラーニングに基づく光フロー推定,特にTransformerを組み込んだ最近提案されたトップパフォーマンス手法は,Transformerの強力なグローバルモデリング機能により,優れた性能を示した。 しかし、トランスフォーマーにおける注意機構の2次計算複雑性は、時間を要するトレーニングと推論をもたらす。 これらの問題を緩和するために,我々は,Mambaアーキテクチャの高精度と効率を活用し,グローバル情報を保存しつつ,局所的相関で特徴を捉える新しいMambaFlowフレームワークを提案する。 我々の知る限り、提案手法はエンド・ツー・エンド光フロー推定のための最初のマンバ中心アーキテクチャである。 特徴表現品質を最適化するために設計された機能拡張Mamba (FEM) モジュールと、効果的なフロー情報の拡散を促進することで閉塞問題に対処するために設計されたフロー伝搬Mamba (FPM) モジュールである。 広汎な実験により, 閉塞領域に遭遇したにもかかわらず, 最先端の成果が得られた。 Sintelベンチマークでは、MambaFlowが1.60のEPEを達成し、GMFlowの1.74を上回っている。 さらに、MambaFlowは0.113秒のランタイムで推論速度を大幅に改善し、GMFlowよりも18%高速になった。 ソースコードは、論文の受理時に公開されます。

関連論文リスト

• MambaGlue: Fast and Robust Local Feature Matching With Mamba [9.397265252815115]
  そこで我々は,MambaGlueと呼ばれる,新しいMambaベースの局所特徴マッチング手法を提案する。 Mambaは最先端のアーキテクチャであり、トレーニングと推論の両方において、優れたスピードで急速に認識されるようになった。 私たちのMambaGlueは、実世界のアプリケーションにおける堅牢性と効率のバランスを達成します。
  論文  参考訳（メタデータ） (2025-02-01T15:43:03Z)
• FlowMamba: Learning Point Cloud Scene Flow with Global Motion Propagation [14.293476753863272]
  本研究では,フローマンバという,グローバルな動き伝搬を伴うシーンフロー推定ネットワークを提案する。 FlowMambaはFlyingThings3DおよびKITTIデータセットにおいてミリレベルの予測精度を実現する最初の方法である。
  論文  参考訳（メタデータ） (2024-12-23T08:03:59Z)
• Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
  Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。 本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
  論文  参考訳（メタデータ） (2024-12-21T13:43:51Z)
• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• Mamba for Scalable and Efficient Personalized Recommendations [0.135975510645475]
  本稿では,FT-Transformer アーキテクチャにおいて,Transformer 層を Mamba 層に置き換える新しいハイブリッドモデルを提案する。 FT-Mambaを従来のTransformerベースモデルと比較し,3つのデータセット上でのTwo-Towerアーキテクチャについて検討した。
  論文  参考訳（メタデータ） (2024-09-11T14:26:14Z)
• ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
  本研究では,長い文脈の理解能力を高めるReMambaを提案する。 ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
  論文  参考訳（メタデータ） (2024-08-28T02:47:27Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• MambaUIE&SR: Unraveling the Ocean's Secrets with Only 2.8 GFLOPs [1.7648680700685022]
  水中画像強調(UIE)技術は,光吸収・散乱による水中画像劣化問題に対処することを目的としている。 近年、畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースの手法が広く研究されている。 MambaUIEは、グローバルおよびローカル情報を効率的に合成することができ、非常に少数のパラメータを高い精度で保持する。
  論文  参考訳（メタデータ） (2024-04-22T05:12:11Z)
• MiM-ISTD: Mamba-in-Mamba for Efficient Infrared Small Target Detection [72.46396769642787]
  ネスト構造であるMamba-in-Mamba(MiM-ISTD)を開発した。 MiM-ISTDはSOTA法より8倍高速で、2048×2048$のイメージでテストすると、GPUメモリ使用率を62.2$%削減する。
  論文  参考訳（メタデータ） (2024-03-04T15:57:29Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。