論文の概要: KMM: Key Frame Mask Mamba for Extended Motion Generation

• arxiv url: http://arxiv.org/abs/2411.06481v1
• Date: Sun, 10 Nov 2024 14:41:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:09:19.599663
• Title: KMM: Key Frame Mask Mamba for Extended Motion Generation
• Title（参考訳）: KMM:拡張モーション生成のためのキーフレームマスクMask Mamba
• Authors: Zeyu Zhang, Hang Gao, Akide Liu, Qi Chen, Feng Chen, Yiran Wang, Danning Li, Hao Tang,
• Abstract要約: キーフレーム・マスキング・モデリング(Key frame Masking Modeling)は、キーフレーム・マスキング・モデリング(Key frame Masking Modeling)を特徴とする新しいアーキテクチャである。 我々は,従来の最先端手法と比較して,FIDが57%以上,パラメータが70%以上減少し,最先端性能を達成するため,go-toデータセットであるBABELの広範な実験を行った。
• 参考スコア（独自算出の注目度）: 21.144913854895243
• License:
• Abstract: Human motion generation is a cut-edge area of research in generative computer vision, with promising applications in video creation, game development, and robotic manipulation. The recent Mamba architecture shows promising results in efficiently modeling long and complex sequences, yet two significant challenges remain: Firstly, directly applying Mamba to extended motion generation is ineffective, as the limited capacity of the implicit memory leads to memory decay. Secondly, Mamba struggles with multimodal fusion compared to Transformers, and lack alignment with textual queries, often confusing directions (left or right) or omitting parts of longer text queries. To address these challenges, our paper presents three key contributions: Firstly, we introduce KMM, a novel architecture featuring Key frame Masking Modeling, designed to enhance Mamba's focus on key actions in motion segments. This approach addresses the memory decay problem and represents a pioneering method in customizing strategic frame-level masking in SSMs. Additionally, we designed a contrastive learning paradigm for addressing the multimodal fusion problem in Mamba and improving the motion-text alignment. Finally, we conducted extensive experiments on the go-to dataset, BABEL, achieving state-of-the-art performance with a reduction of more than 57% in FID and 70% parameters compared to previous state-of-the-art methods. See project website: https://steve-zeyu-zhang.github.io/KMM
• Abstract（参考訳）: ヒューマンモーション生成は、生成的コンピュータビジョンにおける最先端の研究領域であり、ビデオ作成、ゲーム開発、ロボット操作において有望な応用である。 最近のMambaアーキテクチャは、長いシーケンスと複雑なシーケンスを効率的にモデル化する有望な結果を示しているが、2つの大きな課題が残っている。 第二に、MambaはTransformerに比べてマルチモーダルな融合に苦慮しており、テキストクエリとの整合性が欠如している。 まず,キーフレームのマスキングモデリングを特徴とする新しいアーキテクチャであるKMMを紹介する。 この手法はメモリ劣化問題に対処し、SSMにおける戦略的フレームレベルのマスキングをカスタマイズする先駆的な手法を示す。 さらに,マンバのマルチモーダル融合問題に対処し,動きテキストのアライメントを改善するために,コントラスト学習パラダイムを設計した。 最後に,従来の最先端手法と比較して,FIDが57%以上,パラメータが70%以上減少し,最先端性能を実現するため,GotoデータセットであるBABELの広範な実験を行った。 https://steve-zeyu-zhang.github.io/KMM

関連論文リスト

• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• Exploring contextual modeling with linear complexity for point cloud segmentation [43.36716250540622]
  効率的なポイントクラウドセグメンテーションアーキテクチャの鍵となるコンポーネントを同定する。 我々は,Mambaが線形計算複雑性を特徴とし,トランスフォーマーに比べて優れたデータと推論効率を提供することを示した。 さらに、ポイントクラウドセグメンテーションのための標準のMambaをさらに強化し、その2つの重要な欠点を特定します。
  論文  参考訳（メタデータ） (2024-10-28T16:56:30Z)
• MaskMamba: A Hybrid Mamba-Transformer Model for Masked Image Generation [63.73137438677585]
  MaskMambaは、MambaとTransformerアーキテクチャを組み合わせた新しいハイブリッドモデルである。 トランスフォーマーよりも2048時間2048ドルという解像度で、推論速度が54.44%向上した。
  論文  参考訳（メタデータ） (2024-09-30T04:28:55Z)
• MambaMIM: Pre-training Mamba with State Space Token-interpolation [14.343466340528687]
  選択構造状態空間補間(S6T)に基づくMamba(MambaMIM)の自己教師型学習手法を提案する。 MambaMIMは、Mambaの長距離表現能力を向上するために、任意の単一またはハイブリッドのMambaアーキテクチャで使用することができる。
  論文  参考訳（メタデータ） (2024-08-15T10:35:26Z)
• MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
  本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。 私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。 視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
  論文  参考訳（メタデータ） (2024-07-10T23:02:45Z)
• Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
  Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。 我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。 本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバ様線形注意(MLLA)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:31:09Z)
• Visual Mamba: A Survey and New Outlooks [33.90213491829634]
  最近の選択的構造化状態空間モデルであるMambaは、ロングシーケンスモデリングにおいて優れている。 2024年1月以降、マンバは多様なコンピュータビジョンタスクに積極的に適用されてきた。 本稿では,200以上の論文を分析し,マンバの視覚的アプローチを概観する。
  論文  参考訳（メタデータ） (2024-04-29T16:51:30Z)
• ReMamber: Referring Image Segmentation with Mamba Twister [51.291487576255435]
  ReMamberは、マルチモーダルなMamba TwisterブロックとMambaのパワーを統合する新しいRISアーキテクチャである。 Mamba Twisterは画像とテキストのインタラクションを明示的にモデル化し、独自のチャネルと空間的ツイスト機構を通じてテキストと視覚的特徴を融合する。
  論文  参考訳（メタデータ） (2024-03-26T16:27:37Z)
• ZigMa: A DiT-style Zigzag Mamba Diffusion Model [22.68317748373856]
  我々は、Mambaと呼ばれる状態空間モデルの長いシーケンスモデリング機能を活用し、その視覚データ生成への適用性を高めることを目指している。 我々は,Zigzag Mamba という,シンプルな,プラグアンドプレイのゼロパラメータ法を導入し,Mamba ベースのベースラインを上回ります。 Zigzag Mamba と Interpolant フレームワークを統合し,大規模なビジュアルデータセット上でのモデルのスケーラビリティについて検討する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:14Z)
• PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
  我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。 従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-16T14:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。