論文の概要: Scalable Visual State Space Model with Fractal Scanning

• arxiv url: http://arxiv.org/abs/2405.14480v1
• Date: Thu, 23 May 2024 12:12:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 15:15:02.667052
• Title: Scalable Visual State Space Model with Fractal Scanning
• Title（参考訳）: フラクタルスキャンによるスケーラブルなビジュアル状態空間モデル
• Authors: Lv Tang, HaoKe Xiao, Peng-Tao Jiang, Hao Zhang, Jinwei Chen, Bo Li,
• Abstract要約: State Space Models (SSM) はTransformerモデルの効率的な代替品として登場した。 本稿では, フラクタル走査曲線を用いたパッチシリアライゼーションを提案する。 画像分類,検出,セグメンテーションタスクにおいて,本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 16.077348474371547
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Foundational models have significantly advanced in natural language processing (NLP) and computer vision (CV), with the Transformer architecture becoming a standard backbone. However, the Transformer's quadratic complexity poses challenges for handling longer sequences and higher resolution images. To address this challenge, State Space Models (SSMs) like Mamba have emerged as efficient alternatives, initially matching Transformer performance in NLP tasks and later surpassing Vision Transformers (ViTs) in various CV tasks. To improve the performance of SSMs, one crucial aspect is effective serialization of image patches. Existing methods, relying on linear scanning curves, often fail to capture complex spatial relationships and produce repetitive patterns, leading to biases. To address these limitations, we propose using fractal scanning curves for patch serialization. Fractal curves maintain high spatial proximity and adapt to different image resolutions, avoiding redundancy and enhancing SSMs' ability to model complex patterns accurately. We validate our method in image classification, detection, and segmentation tasks, and the superior performance validates its effectiveness.
• Abstract（参考訳）: 基盤モデルは自然言語処理(NLP)とコンピュータビジョン(CV)において大幅に進歩し、トランスフォーマーアーキテクチャは標準的なバックボーンとなった。 しかし、Transformerの二次複雑性は、より長いシーケンスと高解像度の画像を扱う上での課題を引き起こす。 この課題に対処するため、Mambaのようなステートスペースモデル(SSM)は効率的な代替品として登場し、最初はNLPタスクでトランスフォーマーのパフォーマンスにマッチし、後に様々なCVタスクでビジョントランスフォーマー(ViT)を上回った。 SSMの性能を向上させるために、画像パッチの効果的なシリアライズが重要である。 線形走査曲線に依存する既存の手法は、しばしば複雑な空間的関係を捉え、繰り返しパターンを生成するのに失敗し、バイアスをもたらす。 これらの制約に対処するために、パッチシリアライゼーションにフラクタル走査曲線を用いることを提案する。 フラクタル曲線は、高い空間近接を維持し、異なる画像解像度に適応し、冗長性を避け、複雑なパターンを正確にモデル化するSSMの能力を高める。 画像分類,検出,セグメンテーションのタスクにおいて,本手法の有効性を検証し,優れた性能でその有効性を検証した。

関連論文リスト

• Empowering Snapshot Compressive Imaging: Spatial-Spectral State Space Model with Across-Scanning and Local Enhancement [51.557804095896174]
  AsLE-SSMという,グローバルな局所的バランスの取れたコンテキストエンコーディングとチャネル間相互作用の促進に空間スペクトルSSMを用いる状態空間モデルを導入する。 実験の結果,ASLE-SSMは既存の最先端手法よりも優れており,推定速度はTransformerベースのMSTより2.4倍速く,パラメータの0.12(M)を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-08-01T15:14:10Z)
• Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• VmambaIR: Visual State Space Model for Image Restoration [36.11385876754612]
  VmambaIRは、画像復元タスクに線形に複雑な状態空間モデル(SSM)を導入する。 VmambaIRは、より少ない計算資源とパラメータで最先端(SOTA)性能を達成する。
  論文  参考訳（メタデータ） (2024-03-18T02:38:55Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• XCiT: Cross-Covariance Image Transformers [73.33400159139708]
  本稿では,トークンではなく機能チャネルをまたいで機能する自己注意の「伝達」バージョンを提案する。 その結果、XCAはトークン数に線形複雑さを持ち、高解像度画像の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2021-06-17T17:33:35Z)
• Probabilistic Spatial Transformer Networks [0.6999740786886537]
  本稿では、決定論的ではなく、変換を推定する確率的拡張を提案する。 これら2つの特性が,分類性能,ロバスト性,モデル校正性の向上につながることを示す。 さらに、時系列データにおけるモデル性能を改善することにより、非視覚領域へのアプローチが一般化されることを実証する。
  論文  参考訳（メタデータ） (2020-04-07T18:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。