論文の概要: Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2410.03174v2
• Date: Fri, 15 Aug 2025 04:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:22.935074
• Title: Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation
• Title（参考訳）: 姿勢推定のための状態空間モデルを用いた高分解能視覚表現学習
• Authors: Hao Zhang, Yongqiang Ma, Wenqi Shao, Ping Luo, Nanning Zheng, Kaipeng Zhang,
• Abstract要約: 高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
• 参考スコア（独自算出の注目度）: 60.80423207808076
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Capturing long-range dependencies while preserving high-resolution visual representations is crucial for dense prediction tasks such as human pose estimation. Vision Transformers (ViTs) have advanced global modeling through self-attention but suffer from quadratic computational complexity with respect to token count, limiting their efficiency and scalability to high-resolution inputs, especially on mobile and resource-constrained devices. State Space Models (SSMs), exemplified by Mamba, offer an efficient alternative by combining global receptive fields with linear computational complexity, enabling scalable and resource-friendly sequence modeling. However, when applied to dense prediction tasks, existing visual SSMs face key limitations: weak spatial inductive bias, long-range forgetting from hidden state decay, and low-resolution outputs that hinder fine-grained localization. To address these issues, we propose the Dynamic Visual State Space (DVSS) block, which augments visual state space models with multi-scale convolutional operations to enhance local spatial representations and strengthen spatial inductive biases. Through architectural exploration and theoretical analysis, we incorporate deformable operation into the DVSS block, identifying it as an efficient and effective mechanism to enhance semantic aggregation and mitigate long-range forgetting via input-dependent, adaptive spatial sampling. We embed DVSS into a multi-branch high-resolution architecture to build HRVMamba, a novel model for efficient high-resolution representation learning. Extensive experiments on human pose estimation, image classification, and semantic segmentation show that HRVMamba performs competitively against leading CNN-, ViT-, and SSM-based baselines. Code is available at https://github.com/zhanghao5201/PoseVMamba.
• Abstract（参考訳）: 高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 ビジョントランスフォーマー(ViT)は、自己注意による高度なグローバルモデリングを行っているが、トークン数に関して2次計算の複雑さに悩まされており、特にモバイルやリソース制約のあるデバイスにおいて、その効率性とスケーラビリティを高精細な入力に制限している。 Mambaによって実証された状態空間モデル(SSM)は、グローバルな受容場と線形計算の複雑さを組み合わせた効率的な代替手段を提供し、スケーラブルでリソースフレンドリーなシーケンスモデリングを可能にする。 しかし、密集予測タスクに適用した場合、既存の視覚的SSMは、弱い空間誘導バイアス、隠れた状態崩壊からの長距離の忘れ、微粒な局所化を妨げる低解像度の出力といった重要な制限に直面している。 これらの問題に対処するために,マルチスケールの畳み込み操作により視覚状態空間モデルを拡張し,局所的な空間表現を強化し,空間誘導バイアスを強化する動的ビジュアル状態空間(DVSS)ブロックを提案する。 本研究では,DVSSブロックに変形可能な演算を組み込むことにより,意味的集約を向上し,入力依存型適応空間サンプリングによる長距離忘れを緩和する,効率的かつ効果的な機構として同定する。 DVSSをマルチブランチの高分解能アーキテクチャに組み込み、高分解能表現学習のための新しいモデルHRVMambaを構築する。 ヒトのポーズ推定、画像分類、セマンティックセグメンテーションに関する大規模な実験は、HRVMambaが主要なCNN-, ViT-, SSMベースのベースラインに対して競争力を発揮することを示している。 コードはhttps://github.com/zhanghao5201/PoseVMamba.comで入手できる。

関連論文リスト

• MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling [60.648359990090846]
  状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。 本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
  論文  参考訳（メタデータ） (2025-12-29T19:36:28Z)
• MVNet: Hyperspectral Remote Sensing Image Classification Based on Hybrid Mamba-Transformer Vision Backbone Architecture [12.168520751389622]
  ハイパースペクトル画像(HSI)分類は、高次元データ、限られたトレーニングサンプル、スペクトル冗長性といった課題に直面している。 本稿では,3D-CNNの局所特徴抽出,Transformerのグローバルモデリング,Mambaの線形シーケンスモデリング機能を統合した新しいMVNetネットワークアーキテクチャを提案する。 IN、UP、KSCデータセットでは、MVNetは分類精度と計算効率の両方で主流のハイパースペクトル画像分類法より優れている。
  論文  参考訳（メタデータ） (2025-07-06T14:52:26Z)
• VRS-UIE: Value-Driven Reordering Scanning for Underwater Image Enhancement [104.78586859995333]
  状態空間モデル(SSM)は、線形複雑性と大域的受容場のために、視覚タスクの有望なバックボーンとして登場した。 大型で均質だが無意味な海洋背景の優位性は、希少で価値ある標的の特徴表現応答を希薄にすることができる。 水中画像強調(UIE)のための新しい値駆動リダクションスキャンフレームワークを提案する。 本フレームワークは, 水バイアスを効果的に抑制し, 構造や色彩の忠実さを保ち, 優れた向上性能(WMambaを平均0.89dB超える)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T12:21:44Z)
• vGamba: Attentive State Space Bottleneck for efficient Long-range Dependencies in Visual Recognition [0.0]
  状態空間モデル(SSM)は代替手段を提供するが、視界での応用は未定である。 この研究は、効率性と表現性を高めるために、SSMと注意機構を統合するハイブリッドビジョンバックボーンであるvGambaを導入している。 分類、検出、セグメンテーションタスクのテストでは、vGambaは精度と計算効率のトレードオフが優れており、既存のモデルよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2025-03-27T08:39:58Z)
• RSRWKV: A Linear-Complexity 2D Attention Mechanism for Efficient Remote Sensing Vision Task [20.16344973940904]
  高分解能リモートセンシング分析は、シーンの複雑さとスケールの多様性による課題に直面している。 逐次処理と2次元空間推論を橋渡しする新しい2D-WKVスキャン機構を特徴とするSRWKVを提案する。
  論文  参考訳（メタデータ） (2025-03-26T10:03:46Z)
• Hybrid State-Space and GRU-based Graph Tokenization Mamba for Hyperspectral Image Classification [14.250184447492208]
  ハイパースペクトル画像(HSI)分類は, 環境モニタリング, 農業, 都市計画などの領域において重要な役割を担っている。 機械学習や畳み込みニューラルネットワーク(CNN)といった従来の手法は、複雑なスペクトル空間の特徴を効果的に捉えるのに苦労することが多い。 この研究は、スペクトル空間トークン生成、グラフベースのトークン優先順位付け、およびクロスアテンション機構を組み合わせたハイブリッドモデルであるGraphMambaを提案する。
  論文  参考訳（メタデータ） (2025-02-10T13:02:19Z)
• Selective State Space Memory for Large Vision-Language Models [0.0]
  State Space Memory Integration (SSMI)は、LVLMの効率的な微調整のための新しいアプローチである。 SSMIは長距離依存関係をキャプチャし、タスク固有の視覚的およびシーケンシャルなパターンを効果的に注入する。 COCO Captioning、VQA、Flickr30kといったベンチマークデータセットの実験は、SSMIが最先端のパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2024-12-13T05:40:50Z)
• A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
  ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。 我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。 結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-23T11:14:54Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、タスクやシーン間でHSI解釈を統合するビジョントランスフォーマーベースの基礎モデルである。 さらに,約450Kのハイパースペクトル画像を含む,事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築した。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)
• GrootVL: Tree Topology is All You Need in State Space Model [66.36757400689281]
  GrootVLは、視覚的タスクとテキストタスクの両方に適用できる多目的マルチモーダルフレームワークである。 本手法は, 画像分類, オブジェクト検出, セグメンテーションにおいて, 既存の構造化状態空間モデルよりも大幅に優れる。 大規模言語モデルの微調整により,本手法は訓練コストの少ない複数のテキストタスクにおいて一貫した改善を実現する。
  論文  参考訳（メタデータ） (2024-06-04T15:09:29Z)
• Efficient Visual State Space Model for Image Deblurring [99.54894198086852]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。 提案したEVSSMは、ベンチマークデータセットや実世界の画像に対する最先端の手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• Multi-Scale VMamba: Hierarchy in Hierarchy Visual State Space Model [26.786890883280062]
  状態空間モデル(SSM)は、その大域的受容場と線形複雑性のために広く注目を集めている。 視覚タスクにおけるSSMの性能向上のために,マルチスキャン戦略が広く採用されている。 本稿では,MSVMamba(Multi-Scale Vision Mamba)を導入し,限られたパラメータを持つ視覚タスクにおけるSSMの優位性を維持する。
  論文  参考訳（メタデータ） (2024-05-23T04:59:49Z)
• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。 本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba [19.062950348441426]
  本研究は、軽量モデル設計における視覚状態空間モデルの可能性を探究し、EfficientVMambaと呼ばれる新しい効率的なモデル変種を導入することを提案する。 我々のEfficientVMambaは、グローバルおよびローカルの両方の表現機能を利用するように設計されたビルディングブロックを構成する効率的なスキップサンプリングにより、アトラスベースの選択的スキャン手法を統合する。 実験の結果,EfficientVMambaは計算複雑性を縮小し,様々な視覚タスクの競合結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T02:48:47Z)
• ViR: Towards Efficient Vision Retention Backbones [97.93707844681893]
  視覚保持ネットワーク(ViR)と呼ばれる新しいコンピュータビジョンモデルを提案する。 ViRは並列および繰り返しの定式化を持ち、高速推論と並列トレーニングと競合性能の最適なバランスをとる。 我々は,様々なデータセットサイズと様々な画像解像度を用いた広範囲な実験により,ViRの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-30T16:55:50Z)
• Low-Resolution Self-Attention for Semantic Segmentation [93.30597515880079]
  我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。 我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。 本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-10-08T06:10:09Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Video Anomaly Detection by Estimating Likelihood of Representations [21.879366166261228]
  ビデオ異常は、モーション表現、オブジェクトのローカライゼーション、アクション認識など、多くのサブタスクを解決するため、困難なタスクである。 伝統的に、この課題に対する解決策は、これらの特徴の空間的接続を無視しながら、ビデオフレームとその低次元特徴のマッピングに焦点を当ててきた。 最近のソリューションでは、K-Meansのようなハードクラスタリング技術を用いてこれらの空間的接続を分析することや、潜伏した特徴を一般的な理解にマップするためにニューラルネットワークを適用することに焦点を当てている。 潜在特徴空間における映像異常を解決するために,このタスクを密度推定問題に転送するための深い確率モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-02T19:16:22Z)
• Multi-Task Variational Information Bottleneck [8.55293326934818]
  マルチタスク学習(MTL)は、機械学習と人工知能において重要な課題である。 本稿では、変動情報ボトルネック(VIB)のアーキテクチャに基づくMTLモデルを提案する。 敵攻撃下での3つの公開データセットの広範囲な観測により、提案モデルが最先端のアルゴリズムと競合していることが示されている。
  論文  参考訳（メタデータ） (2020-07-01T09:06:20Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。