論文の概要: Spectral State Space Model for Rotation-Invariant Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2503.06369v3
• Date: Fri, 21 Mar 2025 13:45:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:53:22.598558
• Title: Spectral State Space Model for Rotation-Invariant Visual Representation Learning
• Title（参考訳）: 回転不変な視覚表現学習のためのスペクトル状態空間モデル
• Authors: Sahar Dastani, Ali Bahri, Moslem Yazdanpanah, Mehrdad Noori, David Osowiechi, Gustavo Adolfo Vargas Hakim, Farzad Beizaee, Milad Cheraghalikhani, Arnab Kumar Mondal, Herve Lombaert, Christian Desrosiers,
• Abstract要約: 状態空間モデル (SSM) は視覚変換器 (ViT) の代替として登場した。 SSMは概念的に関連があるが、隣接していないパッチ間の関係を識別することができない。 現在の視覚ベースのSSMは回転のような変換に非常に敏感である。 画像内のグローバル構造を効果的にキャプチャする新しいアプローチであるSpectral VMambaを紹介する。
• 参考スコア（独自算出の注目度）: 15.131672925920995
• License:
• Abstract: State Space Models (SSMs) have recently emerged as an alternative to Vision Transformers (ViTs) due to their unique ability of modeling global relationships with linear complexity. SSMs are specifically designed to capture spatially proximate relationships of image patches. However, they fail to identify relationships between conceptually related yet not adjacent patches. This limitation arises from the non-causal nature of image data, which lacks inherent directional relationships. Additionally, current vision-based SSMs are highly sensitive to transformations such as rotation. Their predefined scanning directions depend on the original image orientation, which can cause the model to produce inconsistent patch-processing sequences after rotation. To address these limitations, we introduce Spectral VMamba, a novel approach that effectively captures the global structure within an image by leveraging spectral information derived from the graph Laplacian of image patches. Through spectral decomposition, our approach encodes patch relationships independently of image orientation, achieving rotation invariance with the aid of our Rotational Feature Normalizer (RFN) module. Our experiments on classification tasks show that Spectral VMamba outperforms the leading SSM models in vision, such as VMamba, while maintaining invariance to rotations and a providing a similar runtime efficiency.
• Abstract（参考訳）: 状態空間モデル(SSM)は、線形複雑性とグローバルな関係をモデル化するユニークな能力のため、ビジョントランスフォーマー(ViT)の代替として最近登場した。 SSMは、画像パッチの空間的近縁関係を捉えるように設計されている。 しかし、彼らは概念的に関連があるが隣接していないパッチ間の関係を特定できなかった。 この制限は、本来の方向関係が欠如している画像データの非因果性から生じる。 さらに、現在の視覚ベースのSSMは回転のような変換に非常に敏感である。 事前に定義された走査方向は元の画像方向に依存するため、モデルが回転後に一貫性のないパッチ処理シーケンスを生成する可能性がある。 これらの制約に対処するために、画像パッチのラプラシアングラフから得られるスペクトル情報を活用することにより、画像内のグローバル構造を効果的にキャプチャする新しいアプローチであるSpectral VMambaを導入する。 スペクトル分解により,画像の向きに依存しないパッチ関係を符号化し,回転特徴正規化器(RFN)モジュールの助けを借りて回転不変性を実現する。 分類タスクに関する我々の実験は、VMambaのような視覚における主要なSSMモデルよりも優れた性能を示しながら、回転の不変性を保ち、同様の実行効率を提供する。

関連論文リスト

• DAMamba: Vision State Space Model with Dynamic Adaptive Scan [51.81060691414399]
  状態空間モデル(SSM)は近年、コンピュータビジョンにおいて大きな注目を集めている。 スキャン順序と領域を適応的に割り当てるデータ駆動型動的適応スキャン(DAS)を提案する。 DASをベースとしたビジョンバックボーンDAMambaの提案は,現在のビジョンタスクにおけるMambaモデルよりもはるかに優れている。
  論文  参考訳（メタデータ） (2025-02-18T08:12:47Z)
• SEM-Net: Efficient Pixel Modelling for image inpainting with Spatially Enhanced SSM [11.447968918063335]
  画像の塗装は、画像の既知の領域の情報に基づいて、部分的に損傷した画像の修復を目的としている。 SEM-Netは、新しいビジュアル・ステート・スペース・モデル(SSM)ビジョン・ネットワークであり、画像の劣化をピクセルレベルでモデル化し、状態空間における長距離依存(LRD)をキャプチャする。
  論文  参考訳（メタデータ） (2024-11-10T00:35:14Z)
• Spatial-Mamba: Effective Visual State Space Models via Structure-aware State Fusion [46.82975707531064]
  SSM(Selective State Space Model)は、1Dシーケンシャルデータにおける長距離依存関係のキャプチャに優れる。 本研究では,地域間直接接続を実現する新しいアプローチであるSpatial-Mambaを提案する。 画像分類,検出,セグメンテーションにおいて,空間マンバは,単一のスキャンであっても,最先端のSSMベースのモデルを達成したり,超えたりしていることを示す。
  論文  参考訳（メタデータ） (2024-10-19T12:56:58Z)
• Coarse-Fine Spectral-Aware Deformable Convolution For Hyperspectral Image Reconstruction [15.537910100051866]
  Coded Aperture Snapshot Spectral Imaging (CASSI) の逆問題について検討する。 粗面スペクトル対応変形性畳み込みネットワーク(CFSDCN)を提案する。 我々のCFSDCNは、シミュレーションされたHSIデータセットと実際のHSIデータセットの両方において、従来の最先端(SOTA)メソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-06-18T15:15:12Z)
• Scalable Visual State Space Model with Fractal Scanning [16.077348474371547]
  State Space Models (SSM) はTransformerモデルの効率的な代替品として登場した。 本稿では, フラクタル走査曲線を用いたパッチシリアライゼーションを提案する。 画像分類,検出,セグメンテーションタスクにおいて,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:12:11Z)
• Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• SpectralMamba: Efficient Mamba for Hyperspectral Image Classification [39.18999103115206]
  リカレントニューラルネットワークとトランスフォーマーは、ハイパースペクトル(HS)イメージングにおけるほとんどの応用を支配している。 我々は、HS画像分類のための効率的なディープラーニングフレームワークを組み込んだ新しい状態空間モデルであるSpectralMambaを提案する。 SpectralMambaは、パフォーマンスと効率の両面から、驚くほど有望な勝利を生み出している。
  論文  参考訳（メタデータ） (2024-04-12T14:12:03Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Exploring Invariant Representation for Visible-Infrared Person Re-Identification [77.06940947765406]
  異なるスペクトルを横断する歩行者にアイデンティティを関連付けることを目的とした、クロススペクトルの人物再識別は、モダリティの相違の主な課題に直面している。 本稿では、ロバスト機能マイニングネットワーク(RFM)と呼ばれるエンドツーエンドのハイブリッド学習フレームワークにおいて、画像レベルと特徴レベルの両方の問題に対処する。 RegDBとSYSU-MM01という2つの標準的なクロススペクトル人物識別データセットの実験結果により,最先端の性能が示された。
  論文  参考訳（メタデータ） (2023-02-02T05:24:50Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。