論文の概要: MambaFlow: A Mamba-Centric Architecture for End-to-End Optical Flow Estimation
- arxiv url: http://arxiv.org/abs/2503.07046v2
- Date: Wed, 21 May 2025 06:31:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:57.902956
- Title: MambaFlow: A Mamba-Centric Architecture for End-to-End Optical Flow Estimation
- Title（参考訳）: MambaFlow: エンドツーエンドの光フロー推定のためのMamba-Centric Architecture
- Authors: Juntian Du, Yuan Sun, Zhihu Zhou, Pinyi Chen, Runzhe Zhang, Keji Mao,
- Abstract要約: MambaFlowは,Mambaアーキテクチャの精度と効率性を活用するために設計された,新しいフレームワークである。
MambaFlowは、エンドツーエンドの光学フロー推定において、グローバル情報を保存しながら、ローカルに関連付けられた特徴をキャプチャする。
Sintelベンチマークでは、MambaFlowは1.43のエラーエンドポイント(EPE)と0.113秒の推論速度を記録している。
- 参考スコア（独自算出の注目度）: 1.5828557827183316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the Mamba architecture has demonstrated significant successes in various computer vision tasks, such as classification and segmentation. However, its application to optical flow estimation remains unexplored. In this paper, we introduce MambaFlow, a novel framework designed to leverage the high accuracy and efficiency of the Mamba architecture for capturing locally correlated features while preserving global information in end-to-end optical flow estimation. To our knowledge, MambaFlow is the first architecture centered around the Mamba design tailored specifically for optical flow estimation. It comprises two key components: (1) PolyMamba, which optimizes feature representation; and (2) PulseMamba, which facilitates efficient flow information dissemination. Our extensive experiments demonstrate that MambaFlow achieves remarkable results. On the Sintel benchmark, MambaFlow records an endpoint error (EPE) of 1.43 and an inference speed of 0.113 seconds, surpassing the state-of-the-art methods including GMFlow (with 18.9% lower EPE and 18.1% faster inference), SeparableFlow (5% lower EPE and 50.5% faster), CRAFT (1.11% lower EPE and 76.5% faster), and DIP (0.7% lower EPE and 77.2% faster)-demonstrating stronger potential for real-world deployment on resource-constrained devices. The source code will be made publicly available upon acceptance of the paper.
- Abstract（参考訳）: 近年、Mambaアーキテクチャは、分類やセグメンテーションなど、様々なコンピュータビジョンタスクにおいて大きな成功を収めている。
しかし、光学フロー推定へのその応用はいまだ解明されていない。
本稿では,MambaFlowについて紹介する。MambaFlowは,局所的に相関する特徴を捉えつつ,エンドツーエンドの光学的フロー推定におけるグローバル情報を保存するために,Mambaアーキテクチャの高精度かつ効率性を生かした新しいフレームワークである。
私たちの知る限り、MambaFlowは光フロー推定に特化したMamba設計を中心とした最初のアーキテクチャです。
特徴表現を最適化するPolyMambaと、効率的なフロー情報伝達を容易にするPulseMambaの2つのキーコンポーネントから構成される。
大規模な実験により,MambaFlowが顕著な結果をもたらすことが示された。
シンテルのベンチマークでは、MambaFlowは1.43のエンドポイントエラー(EPE)と0.113秒の推論速度を記録し、GMFlow(EPEが18.9%低く、推論が18.1%速い)、SeparableFlow(EPEが5%低く、50.5%速い)、CRAFT(EPEが1.11%低い、76.5%速い)、DIP(EPEが0.7%低い、77.2%速い)といった最先端の手法に勝っている。
ソースコードは、論文の受理時に公開されます。
関連論文リスト
- MambaGlue: Fast and Robust Local Feature Matching With Mamba [9.397265252815115]
そこで我々は,MambaGlueと呼ばれる,新しいMambaベースの局所特徴マッチング手法を提案する。
Mambaは最先端のアーキテクチャであり、トレーニングと推論の両方において、優れたスピードで急速に認識されるようになった。
私たちのMambaGlueは、実世界のアプリケーションにおける堅牢性と効率のバランスを達成します。
論文 参考訳（メタデータ） (2025-02-01T15:43:03Z) - FlowMamba: Learning Point Cloud Scene Flow with Global Motion Propagation [14.293476753863272]
本研究では,フローマンバという,グローバルな動き伝搬を伴うシーンフロー推定ネットワークを提案する。
FlowMambaはFlyingThings3DおよびKITTIデータセットにおいてミリレベルの予測精度を実現する最初の方法である。
論文 参考訳（メタデータ） (2024-12-23T08:03:59Z) - Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。
本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
論文 参考訳（メタデータ） (2024-12-21T13:43:51Z) - MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。
効率と性能のバランスをとるMobileMambaフレームワークを提案する。
MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
論文 参考訳（メタデータ） (2024-11-24T18:01:05Z) - Mamba for Scalable and Efficient Personalized Recommendations [0.135975510645475]
本稿では,FT-Transformer アーキテクチャにおいて,Transformer 層を Mamba 層に置き換える新しいハイブリッドモデルを提案する。
FT-Mambaを従来のTransformerベースモデルと比較し,3つのデータセット上でのTwo-Towerアーキテクチャについて検討した。
論文 参考訳（メタデータ） (2024-09-11T14:26:14Z) - ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
本研究では,長い文脈の理解能力を高めるReMambaを提案する。
ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
論文 参考訳（メタデータ） (2024-08-28T02:47:27Z) - SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。
SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。
以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2024-08-21T09:12:59Z) - MambaUIE&SR: Unraveling the Ocean's Secrets with Only 2.8 GFLOPs [1.7648680700685022]
水中画像強調(UIE)技術は,光吸収・散乱による水中画像劣化問題に対処することを目的としている。
近年、畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースの手法が広く研究されている。
MambaUIEは、グローバルおよびローカル情報を効率的に合成することができ、非常に少数のパラメータを高い精度で保持する。
論文 参考訳（メタデータ） (2024-04-22T05:12:11Z) - MiM-ISTD: Mamba-in-Mamba for Efficient Infrared Small Target Detection [72.46396769642787]
ネスト構造であるMamba-in-Mamba(MiM-ISTD)を開発した。
MiM-ISTDはSOTA法より8倍高速で、2048×2048$のイメージでテストすると、GPUメモリ使用率を62.2$%削減する。
論文 参考訳（メタデータ） (2024-03-04T15:57:29Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。