論文の概要: Deformba: Vision State Space Model with Adaptive State Fusion

• arxiv url: http://arxiv.org/abs/2605.21308v1
• Date: Wed, 20 May 2026 15:36:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.755014
• Title: Deformba: Vision State Space Model with Adaptive State Fusion
• Title（参考訳）: Deformba: 適応状態融合を用いたビジョン状態空間モデル
• Authors: Hongyu Ke, Jack Morris, Yongkang Liu, Satoshi Kitai, Kentaro Oguchi, Yi Ding, Haoxin Wang,
• Abstract要約: State Space Models (SSM) は、トランスフォーマーの強力な代替手段として登場した。 本研究では,SSMの線形複雑度を維持しながら空間構造情報を動的に拡張する文脈適応手法であるDeformbaを提案する。 Deformbaは様々な視覚知覚ベンチマークで高いパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 9.161209235334281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State Space Models (SSMs) have emerged as a powerful and efficient alternative to Transformers, demonstrating linear-time complexity and exceptional sequence modeling capabilities. However, their application to vision tasks remains challenging. First, existing vision SSMs largely depend on manually designed fixed scanning methods to flatten image patches into sequences, which imposes predefined geometric structures and increases the complexity. Second, the broader adoption of vision SSMs is hindered in domains that require query-based interactions between distinct information streams. This is a result of the inherently causal and self-referential nature of SSMs designed for 1D sequence modeling tasks. This fusion mechanism is indispensable for critical perception tasks such as multi-view 3D fusion. To address these limitations, we propose Deformba, a context adaptive method that dynamically augments the spatial structural information while maintaining the linear complexity of SSMs. Deformba also allows multi-modal fusion like cross attention. To demonstrate the effectiveness and general applicability of Deformba, we test its performance on general 2D vision tasks such as image classification, object detection, and segmentation, as well as 3D vision tasks like BEV perception. Extensive experiments show that Deformba achieves strong performance across various visual perception benchmarks.
• Abstract（参考訳）: 状態空間モデル(SSM)は、線形時間複雑性と例外的なシーケンスモデリング能力を実証し、トランスフォーマーの強力で効率的な代替品として登場した。 しかし、ビジョンタスクへの応用は依然として困難である。 まず、既存の視覚SSMは、画像パッチを文字列に平らにするための手動設計の固定走査法に大きく依存し、事前に定義された幾何学的構造を課し、複雑さを増大させる。 第2に、視覚SSMの広範な採用は、異なる情報ストリーム間のクエリベースのインタラクションを必要とする領域で妨げられている。 これは1次元シーケンスモデリングタスク用に設計されたSSMの本質的に因果的かつ自己参照的な性質の結果である。 この融合機構は、多視点3次元融合のような重要な知覚タスクには不可欠である。 これらの制約に対処するため,SSMの線形複雑度を維持しながら空間構造情報を動的に拡張する文脈適応手法であるDeformbaを提案する。 Deformbaはまた、クロスアテンションのようなマルチモーダル融合を可能にする。 Deformbaの有効性と汎用性を実証するため,画像分類や物体検出,セグメンテーションなどの一般的な2次元視覚タスクや,BEV知覚などの3次元視覚タスクにおいて,その性能を検証した。 大規模な実験により、Deformbaは様々な視覚知覚ベンチマークで高いパフォーマンスを達成している。

関連論文リスト

• Lemon: A Unified and Scalable 3D Multimodal Model for Universal Spatial Understanding [80.66591664266744]
  Lemonは3Dポイントクラウドパッチと言語トークンを単一のシーケンスとして処理する統合トランスフォーマーアーキテクチャである。 3次元データの複雑さに対処するため,空間的コンテキストを保存するための構造化パッチやトークン化方式を開発した。 Lemonは、総合的な3D理解と推論タスクにまたがって、最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2025-12-14T20:02:43Z)
• UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
  統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。 本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
  論文  参考訳（メタデータ） (2025-12-03T16:03:18Z)
• HF-VTON: High-Fidelity Virtual Try-On via Consistent Geometric and Semantic Alignment [22.960492450413497]
  HF-VTONは,多種多様なポーズにおける高忠実度仮想トライオン性能を保証する新しいフレームワークである。 HF-VTONは3つの主要なモジュールで構成されている: 外観保存型ワープアライメントモジュール、セマンティック表現モジュール、およびマルチモーダル事前誘導型外観生成モジュール。 実験の結果,HF-VTONはVITON-HDとSAMP-VTONSの両方で最先端の手法より優れていた。
  論文  参考訳（メタデータ） (2025-05-26T07:55:49Z)
• DAMamba: Vision State Space Model with Dynamic Adaptive Scan [51.81060691414399]
  状態空間モデル(SSM)は近年、コンピュータビジョンにおいて大きな注目を集めている。 スキャン順序と領域を適応的に割り当てるデータ駆動型動的適応スキャン(DAS)を提案する。 DASをベースとしたビジョンバックボーンDAMambaの提案は,現在のビジョンタスクにおけるMambaモデルよりもはるかに優れている。
  論文  参考訳（メタデータ） (2025-02-18T08:12:47Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• MonoMM: A Multi-scale Mamba-Enhanced Network for Real-time Monocular 3D Object Detection [9.780498146964097]
  リアルタイムモノクロ3Dオブジェクト検出のための革新的なネットワークアーキテクチャであるMonoMMを提案する。 MonoMM は Focused Multi-Scale Fusion (FMF) と Depth-Aware Feature Enhancement Mamba (DMB) モジュールで構成されている。 提案手法は,従来の単分子法よりも優れ,リアルタイム検出を実現する。
  論文  参考訳（メタデータ） (2024-08-01T10:16:58Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。