論文の概要: TransMamba: Fast Universal Architecture Adaption from Transformers to Mamba

• arxiv url: http://arxiv.org/abs/2502.15130v1
• Date: Fri, 21 Feb 2025 01:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 21:37:39.031853
• Title: TransMamba: Fast Universal Architecture Adaption from Transformers to Mamba
• Title（参考訳）: TransMamba: トランスフォーマーからMambaへの高速ユニバーサルアーキテクチャ適応
• Authors: Xiuwei Chen, Sihao Lin, Xiao Dong, Zisheng Chen, Meng Cao, Jianhua Han, Hang Xu, Xiaodan Liang,
• Abstract要約: 本稿では,既存のTransformerモデルの知識を,TransMambaと呼ばれる代替アーキテクチャのMambaに伝達するクロスアーキテクチャトレーニングについて検討する。 提案手法では,新しいマンバモデルの訓練を高速化し,ユニモーダルタスクおよびクロスモーダルタスクにおける有効性を確保するための2段階戦略を採用している。 クロスモーダル学習のために,言語認識をMambaの視覚的特徴に統合し,Mambaアーキテクチャのクロスモーダルインタラクション能力を向上するクロスマンバモジュールを提案する。
• 参考スコア（独自算出の注目度）: 88.31117598044725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have been favored in both uni-modal and multi-modal foundation models for their flexible scalability in attention modules. Consequently, a number of pre-trained Transformer models, e.g., LLaVA, CLIP, and DEIT, are publicly available. Recent research has introduced subquadratic architectures like Mamba, which enables global awareness with linear complexity. Nevertheless, training specialized subquadratic architectures from scratch for certain tasks is both resource-intensive and time-consuming. As a motivator, we explore cross-architecture training to transfer the ready knowledge in existing Transformer models to alternative architecture Mamba, termed TransMamba. Our approach employs a two-stage strategy to expedite training new Mamba models, ensuring effectiveness in across uni-modal and cross-modal tasks. Concerning architecture disparities, we project the intermediate features into an aligned latent space before transferring knowledge. On top of that, a Weight Subcloning and Adaptive Bidirectional distillation method (WSAB) is introduced for knowledge transfer without limitations on varying layer counts. For cross-modal learning, we propose a cross-Mamba module that integrates language awareness into Mamba's visual features, enhancing the cross-modal interaction capabilities of Mamba architecture. Despite using less than 75% of the training data typically required for training from scratch, TransMamba boasts substantially stronger performance across various network architectures and downstream tasks, including image classification, visual question answering, and text-video retrieval. The code will be publicly available.
• Abstract（参考訳）: トランスフォーマーは、注目モジュールの柔軟な拡張性のために、ユニモーダルとマルチモーダルのファンデーションモデルの両方で好まれている。 その結果、トレーニング済みのTransformerモデル(例えば、LLaVA、CLIP、DEIT)が公開されている。 近年の研究では、線形複雑性を伴う世界的認識を可能にする、Mambaのようなサブクワッドラティックアーキテクチャが導入されている。 それでも、特定のタスクのためにスクラッチから特別なサブクワッドラティックアーキテクチャを訓練することは、リソース集約的かつ時間を要する。 モチベータとして,既存のTransformerモデルの知識を,TransMambaと呼ばれる代替アーキテクチャのMambaに伝達するクロスアーキテクチャトレーニングについて検討する。 提案手法では,新しいマンバモデルの訓練を高速化し,ユニモーダルタスクおよびクロスモーダルタスクにおける有効性を確保するための2段階戦略を採用している。 アーキテクチャの相違については、知識を伝達する前に中間機能を整列した潜在空間に投影する。 さらに, 種々の層数に制限を加えることなく, 知識伝達を行うために, 重み付け・適応二方向蒸留法 (WSAB) を導入している。 クロスモーダル学習のために,言語認識をMambaの視覚的特徴に統合し,Mambaアーキテクチャのクロスモーダルインタラクション能力を向上するクロスマンバモジュールを提案する。 TransMambaは、スクラッチからトレーニングするために必要なトレーニングデータの75%未満を使用してはいるが、画像分類、視覚的質問応答、テキストビデオ検索など、さまざまなネットワークアーキテクチャや下流タスクにおいて、大幅にパフォーマンスが向上している。 コードは公開されます。

関連論文リスト

• Trained Mamba Emulates Online Gradient Descent in In-Context Linear Regression [90.93281146423378]
  Mambaは、Long-Sequence Modelingのための線形複雑性を持つ効率的なTransformer代替品である。 最近の実証研究は、Mambaのテキスト内学習(ICL)がTransformersと競合していることを示している。 本稿では,線形回帰 ICL タスクにおける Mamba のトレーニングダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2025-09-28T09:48:49Z)
• DYNAMAX: Dynamic computing for Transformers and Mamba based architectures [2.5739385355356714]
  アーリーエグジット(EE)は、データサンプルに対する十分な予測信頼が達成されれば、推論を動的に終了させることで、計算コストとレイテンシを低減するための有望なアプローチを提供する。 DYNAMAXは、初期の出口機構のためにMambaアーキテクチャのユニークな特性を利用する最初のフレームワークである。
  論文  参考訳（メタデータ） (2025-04-29T16:38:15Z)
• RoMA: Scaling up Mamba-based Foundation Models for Remote Sensing [47.536214063122515]
  RoMAは、大規模で多様なラベルのないデータを使用して、RSファンデーションモデルのスケーラブルな自己教師付き事前トレーニングを可能にするフレームワークである。 RoMAは、カスタマイズされた自動回帰学習戦略により、高解像度画像のスケーラビリティを向上させる。 シーン分類、オブジェクト検出、セマンティックセグメンテーションタスクにわたる実験により、RoMAで事前訓練されたMambaモデルは、精度と計算効率の両方において、ViTベースのモデルよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-13T14:09:18Z)
• A Survey on Mamba Architecture for Vision Applications [7.216568558372857]
  Mambaアーキテクチャは、ビジュアルタスクにおけるスケーラビリティの課題に対処する。 Vision MambaとVideoMambaは双方向走査、選択メカニズム、時間処理を導入し、画像とビデオの理解を高めている。 これらの進歩は、マンバをコンピュータビジョンの研究と応用における有望なアーキテクチャとして位置づけている。
  論文  参考訳（メタデータ） (2025-02-11T00:59:30Z)
• MatIR: A Hybrid Mamba-Transformer Image Restoration Model [95.17418386046054]
  そこで我々は,MatIRと呼ばれるMamba-Transformerハイブリッド画像復元モデルを提案する。 MatIRはTransformer層とMamba層のブロックをクロスサイクルして特徴を抽出する。 Mambaモジュールでは、4つのスキャンパスに沿って横断するImage Inpainting State Space (IRSS)モジュールを導入する。
  論文  参考訳（メタデータ） (2025-01-30T14:55:40Z)
• Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
  Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。 本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
  論文  参考訳（メタデータ） (2024-12-21T13:43:51Z)
• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• Parameter Efficient Mamba Tuning via Projector-targeted Diagonal-centric Linear Transformation [14.57480367514423]
  我々は,Mambaアーキテクチャにおいて,パラメータ効率細調整(PEFT)のための2つの重要な洞察駆動戦略を導入する。 我々は,Mambaアーキテクチャに特化した新しいPEFT手法を提案する:プロジェクタターゲット対角中心線形変換(ProDiaL)
  論文  参考訳（メタデータ） (2024-11-21T04:58:20Z)
• MaskMamba: A Hybrid Mamba-Transformer Model for Masked Image Generation [63.73137438677585]
  MaskMambaは、MambaとTransformerアーキテクチャを組み合わせた新しいハイブリッドモデルである。 トランスフォーマーよりも2048時間2048ドルという解像度で、推論速度が54.44%向上した。
  論文  参考訳（メタデータ） (2024-09-30T04:28:55Z)
• Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
  本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。 提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-08-19T17:48:11Z)
• MambaMIM: Pre-training Mamba with State Space Token-interpolation [14.343466340528687]
  選択構造状態空間補間(S6T)に基づくMamba(MambaMIM)の自己教師型学習手法を提案する。 MambaMIMは、Mambaの長距離表現能力を向上するために、任意の単一またはハイブリッドのMambaアーキテクチャで使用することができる。
  論文  参考訳（メタデータ） (2024-08-15T10:35:26Z)
• A Survey of Mamba [27.939712558507516]
  近年,基礎モデル構築の代替手段として,Mambaという新しいアーキテクチャが登場している。 本研究では,マンバモデルの発展,多様なデータにマンバを適応させる技術,およびマンバが優れている応用について検討する。
  論文  参考訳（メタデータ） (2024-08-02T09:18:41Z)
• Dimba: Transformer-Mamba Diffusion Models [32.04949173308355]
  本稿では,Transformer と Mamba 要素を組み合わせた独自のハイブリッドアーキテクチャを用いた新しいテキスト・画像拡散モデルである Dimba について述べる。 大規模な実験により、Dimbaは画像の品質、芸術的レンダリング、セマンティックコントロールの点でベンチマークと比較すると、同等のパフォーマンスを達成したことが示されている。
  論文  参考訳（メタデータ） (2024-06-03T09:51:59Z)
• ChangeMamba: Remote Sensing Change Detection With Spatiotemporal State Space Model [18.063680125378347]
  Mambaアーキテクチャは、一連の自然言語処理タスクにおいて顕著なパフォーマンスを示している。 我々は、バイナリ変更検出、セマンティック変更検出、建築損傷評価のために、MambaBCD、MambaSCD、MambaBDAと呼ばれる対応するフレームワークをカスタマイズする。 3つのフレームワークはいずれも最先端のVisual Mambaアーキテクチャをエンコーダとして採用しており、入力画像からグローバルな空間的情報を完全に学習することができる。
  論文  参考訳（メタデータ） (2024-04-04T13:06:25Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。