論文の概要: Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2410.03174v2
• Date: Fri, 15 Aug 2025 04:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:22.935074
• Title: Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation
• Title（参考訳）: 姿勢推定のための状態空間モデルを用いた高分解能視覚表現学習
• Authors: Hao Zhang, Yongqiang Ma, Wenqi Shao, Ping Luo, Nanning Zheng, Kaipeng Zhang,
• Abstract要約: 高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
• 参考スコア（独自算出の注目度）: 60.80423207808076
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Capturing long-range dependencies while preserving high-resolution visual representations is crucial for dense prediction tasks such as human pose estimation. Vision Transformers (ViTs) have advanced global modeling through self-attention but suffer from quadratic computational complexity with respect to token count, limiting their efficiency and scalability to high-resolution inputs, especially on mobile and resource-constrained devices. State Space Models (SSMs), exemplified by Mamba, offer an efficient alternative by combining global receptive fields with linear computational complexity, enabling scalable and resource-friendly sequence modeling. However, when applied to dense prediction tasks, existing visual SSMs face key limitations: weak spatial inductive bias, long-range forgetting from hidden state decay, and low-resolution outputs that hinder fine-grained localization. To address these issues, we propose the Dynamic Visual State Space (DVSS) block, which augments visual state space models with multi-scale convolutional operations to enhance local spatial representations and strengthen spatial inductive biases. Through architectural exploration and theoretical analysis, we incorporate deformable operation into the DVSS block, identifying it as an efficient and effective mechanism to enhance semantic aggregation and mitigate long-range forgetting via input-dependent, adaptive spatial sampling. We embed DVSS into a multi-branch high-resolution architecture to build HRVMamba, a novel model for efficient high-resolution representation learning. Extensive experiments on human pose estimation, image classification, and semantic segmentation show that HRVMamba performs competitively against leading CNN-, ViT-, and SSM-based baselines. Code is available at https://github.com/zhanghao5201/PoseVMamba.
• Abstract（参考訳）: 高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 ビジョントランスフォーマー(ViT)は、自己注意による高度なグローバルモデリングを行っているが、トークン数に関して2次計算の複雑さに悩まされており、特にモバイルやリソース制約のあるデバイスにおいて、その効率性とスケーラビリティを高精細な入力に制限している。 Mambaによって実証された状態空間モデル(SSM)は、グローバルな受容場と線形計算の複雑さを組み合わせた効率的な代替手段を提供し、スケーラブルでリソースフレンドリーなシーケンスモデリングを可能にする。 しかし、密集予測タスクに適用した場合、既存の視覚的SSMは、弱い空間誘導バイアス、隠れた状態崩壊からの長距離の忘れ、微粒な局所化を妨げる低解像度の出力といった重要な制限に直面している。 これらの問題に対処するために,マルチスケールの畳み込み操作により視覚状態空間モデルを拡張し,局所的な空間表現を強化し,空間誘導バイアスを強化する動的ビジュアル状態空間(DVSS)ブロックを提案する。 本研究では,DVSSブロックに変形可能な演算を組み込むことにより,意味的集約を向上し,入力依存型適応空間サンプリングによる長距離忘れを緩和する,効率的かつ効果的な機構として同定する。 DVSSをマルチブランチの高分解能アーキテクチャに組み込み、高分解能表現学習のための新しいモデルHRVMambaを構築する。 ヒトのポーズ推定、画像分類、セマンティックセグメンテーションに関する大規模な実験は、HRVMambaが主要なCNN-, ViT-, SSMベースのベースラインに対して競争力を発揮することを示している。 コードはhttps://github.com/zhanghao5201/PoseVMamba.comで入手できる。

関連論文リスト

• vGamba: Attentive State Space Bottleneck for efficient Long-range Dependencies in Visual Recognition [0.0]
  状態空間モデル(SSM)は代替手段を提供するが、視界での応用は未定である。 この研究は、効率性と表現性を高めるために、SSMと注意機構を統合するハイブリッドビジョンバックボーンであるvGambaを導入している。 分類、検出、セグメンテーションタスクのテストでは、vGambaは精度と計算効率のトレードオフが優れており、既存のモデルよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2025-03-27T08:39:58Z)
• Selective State Space Memory for Large Vision-Language Models [0.0]
  State Space Memory Integration (SSMI)は、LVLMの効率的な微調整のための新しいアプローチである。 SSMIは長距離依存関係をキャプチャし、タスク固有の視覚的およびシーケンシャルなパターンを効果的に注入する。 COCO Captioning、VQA、Flickr30kといったベンチマークデータセットの実験は、SSMIが最先端のパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2024-12-13T05:40:50Z)
• A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
  ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。 我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。 結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-23T11:14:54Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、タスクやシーン間でHSI解釈を統合するビジョントランスフォーマーベースの基礎モデルである。 さらに,約450Kのハイパースペクトル画像を含む,事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築した。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)
• Multi-Scale VMamba: Hierarchy in Hierarchy Visual State Space Model [26.786890883280062]
  状態空間モデル(SSM)は、その大域的受容場と線形複雑性のために広く注目を集めている。 視覚タスクにおけるSSMの性能向上のために,マルチスキャン戦略が広く採用されている。 本稿では,MSVMamba(Multi-Scale Vision Mamba)を導入し,限られたパラメータを持つ視覚タスクにおけるSSMの優位性を維持する。
  論文  参考訳（メタデータ） (2024-05-23T04:59:49Z)
• HyperVQ: MLR-based Vector Quantization in Hyperbolic Space [56.4245885674567]
  ベクトル量子化(HyperVQ)における双曲空間の利用について検討する。 本稿では,高VQが識別タスクにおいてVQを上回り,高度に絡み合った潜在空間を学習しながら,再建作業や生成作業において相容れない性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-03-18T03:17:08Z)
• EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba [19.062950348441426]
  本研究は、軽量モデル設計における視覚状態空間モデルの可能性を探究し、EfficientVMambaと呼ばれる新しい効率的なモデル変種を導入することを提案する。 我々のEfficientVMambaは、グローバルおよびローカルの両方の表現機能を利用するように設計されたビルディングブロックを構成する効率的なスキップサンプリングにより、アトラスベースの選択的スキャン手法を統合する。 実験の結果,EfficientVMambaは計算複雑性を縮小し,様々な視覚タスクの競合結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T02:48:47Z)
• ViR: Towards Efficient Vision Retention Backbones [97.93707844681893]
  視覚保持ネットワーク(ViR)と呼ばれる新しいコンピュータビジョンモデルを提案する。 ViRは並列および繰り返しの定式化を持ち、高速推論と並列トレーニングと競合性能の最適なバランスをとる。 我々は,様々なデータセットサイズと様々な画像解像度を用いた広範囲な実験により,ViRの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-30T16:55:50Z)
• Low-Resolution Self-Attention for Semantic Segmentation [93.30597515880079]
  我々は,グローバルコンテキストを計算コストの大幅な削減で捉えるために,低解像度自己認識(LRSA)機構を導入する。 我々のアプローチは、入力画像の解像度に関わらず、固定された低解像度空間における自己注意を計算することである。 本稿では,エンコーダ・デコーダ構造を持つビジョントランスであるLRFormerを構築することで,LRSA手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-10-08T06:10:09Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)
• Video Anomaly Detection by Estimating Likelihood of Representations [21.879366166261228]
  ビデオ異常は、モーション表現、オブジェクトのローカライゼーション、アクション認識など、多くのサブタスクを解決するため、困難なタスクである。 伝統的に、この課題に対する解決策は、これらの特徴の空間的接続を無視しながら、ビデオフレームとその低次元特徴のマッピングに焦点を当ててきた。 最近のソリューションでは、K-Meansのようなハードクラスタリング技術を用いてこれらの空間的接続を分析することや、潜伏した特徴を一般的な理解にマップするためにニューラルネットワークを適用することに焦点を当てている。 潜在特徴空間における映像異常を解決するために,このタスクを密度推定問題に転送するための深い確率モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-02T19:16:22Z)
• Multi-Task Variational Information Bottleneck [8.55293326934818]
  マルチタスク学習(MTL)は、機械学習と人工知能において重要な課題である。 本稿では、変動情報ボトルネック(VIB)のアーキテクチャに基づくMTLモデルを提案する。 敵攻撃下での3つの公開データセットの広範囲な観測により、提案モデルが最先端のアルゴリズムと競合していることが示されている。
  論文  参考訳（メタデータ） (2020-07-01T09:06:20Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。