論文の概要: Mamba State-Space Models Can Be Strong Downstream Learners

• arxiv url: http://arxiv.org/abs/2406.00209v1
• Date: Fri, 31 May 2024 21:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-06 08:13:57.181298
• Title: Mamba State-Space Models Can Be Strong Downstream Learners
• Title（参考訳）: Mamba State-Space Modelsは強力な下流学習者になれる
• Authors: John T. Halloran, Manbir Gulati, Paul F. Roysdon,
• Abstract要約: マンバ状態空間モデル(SSM)は、最近様々なタスクにおいて最先端(SLLM)を上回っている。 混合精度(MPFT)と微細チューニング(PEFT)は低評価である。 我々は,MPFTとPEFTを組み合わせることで,最大で毎秒215倍,メモリあたり65.5%のトークンを削減できることを示した。
• 参考スコア（独自算出の注目度）: 1.6385815610837167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mamba state-space models (SSMs) have recently outperformed state-of-the-art (SOTA) Transformer large language models (LLMs) in various tasks and been widely adapted. However, Mamba's downstream learning capabilities remain either unexplored$\unicode{x2013}$e.g., mixed-precision (MPFT) and parameter-efficient fine-tuning (PEFT)--or under-evaluated$\unicode{x2013}$e.g., in-context learning (ICL). For the latter, recent works reported Mamba's ICL rivals SOTA Transformer LLMs using non-standard benchmarks. In contrast, we show that on standard benchmarks, pretrained Mamba models achieve only 38% of the ICL performance improvements (over zero-shot) of comparable Transformers. Enabling MPFT and PEFT in Mamba architectures is challenging due to recurrent dynamics and highly customized CUDA kernels, respectively. However, we prove that Mamba's recurrent dynamics are robust to small input changes using dynamical systems theory. Empirically, we show that performance changes in Mamba's inference and fine-tuning due to mixed-precision align with Transformer LLMs. Furthermore, we show that targeting key memory buffers in Mamba's customized CUDA kernels for low-rank adaptation regularizes SSM parameters, thus achieving parameter efficiency while retaining speedups. We show that combining MPFT and PEFT enables up to 2.15 times more tokens-per-second and 65.5% reduced per-token-memory compared to full Mamba fine-tuning, while achieving up to 81.5% of the ICL performance improvements (over zero-shot) of comparably fine-tuned Transformers.
• Abstract（参考訳）: Mamba State-space Model (SSM) は、最近様々なタスクにおいて、SOTA (State-of-the-art) の変換言語モデル (LLM) よりも優れており、広く採用されている。 しかし、Mambaの下流学習能力は、探索されていない$\unicode{x2013}$e g、混合精度(MPFT)、パラメータ効率の微調整(PEFT)、または未評価$\unicode{x2013}$e g、インコンテキスト学習(ICL)のいずれかである。 後者については、最近の研究で、マンバのICLは標準ではないベンチマークを用いてSOTA Transformer LLMと競合していると報告されている。 対照的に、標準ベンチマークでは、トレーニング済みのMambaモデルは、同等のトランスフォーマーのICL性能改善(ゼロショット以上)の38%しか達成していない。 Mamba アーキテクチャにおける MPFT と PEFT の実装は,それぞれ再帰的な動的特性と高度にカスタマイズされた CUDA カーネルにより困難である。 しかし、マンバの繰り返し力学は力学系理論を用いて小さな入力変化に対して堅牢であることを示す。 実験により,Transformer LLMとの混合精度整合によるマンバ推定と微調整の性能変化が示された。 さらに、低ランク適応のためのMambaのカスタマイズされたCUDAカーネルにおけるキーメモリバッファのターゲットは、SSMパラメータを正規化し、スピードアップを維持しながらパラメータ効率が向上することを示す。 我々は,MPFTとPEFTを組み合わせることで,最大2.15倍のトークン/秒,65.5%のトークン/トークン/メモリ削減が可能であり,また,互換性のある微調整トランスのICL性能改善(ゼロショット以上)を最大81.5%達成できることを示した。

関連論文リスト

• Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents [55.82787697101274]
  Bifrost-1は、事前訓練されたマルチモーダルLLM(MLLM)と拡散モデルをブリッジする統合フレームワークである。 予め訓練したMLLMと拡散モデルとパッチレベルのCLIPラプタントをシームレスに統合することにより,高忠実度制御可能な画像生成を実現する。 実験の結果,Bifrost-1は視覚的忠実度やマルチモーダル理解の観点から,従来の手法と同等あるいは優れた性能を達成できた。
  論文  参考訳（メタデータ） (2025-08-08T02:38:47Z)
• Differential Mamba [16.613266337054267]
  TransformerやRNNのようなシーケンスモデルは、しばしば無関係なコンテキストに注意を向け、ノイズの多い中間表現をもたらす。 最近の研究は、差分設計がトランスフォーマーにおけるこの問題を緩和し、様々なアプリケーションにおけるそれらの効果を向上させることを示している。 本研究では,マンバへの微分設計の素直な適応は不十分であり,注意深いアーキテクチャ修正が必要であることを示す。
  論文  参考訳（メタデータ） (2025-07-08T17:30:14Z)
• Memba: Membrane-driven Parameter-Efficient Fine-Tuning for Mamba [21.474315621757594]
  State Space Models (SSM) はアテンションベースのトランスフォーマーの強力な代替品として登場した。 メンバは膜駆動である。 PEFTはMamba用に特別に設計されたアプローチである。
  論文  参考訳（メタデータ） (2025-06-22T21:52:45Z)
• Routing Mamba: Scaling State Space Models with Mixture-of-Experts Projection [88.47928738482719]
  線形状態空間モデル(SSM)は、シーケンスモデリングにおいて顕著なパフォーマンス向上を提供する。 Mambaのような最近の進歩は、入力依存のゲーティングとハードウェア対応の実装により、SSMをさらに強化している。 本稿では,線形射影の専門家による疎混合を用いてSSMパラメータをスケールする新しい手法であるRoM(Roing Mamba)を紹介する。
  論文  参考訳（メタデータ） (2025-06-22T19:26:55Z)
• S'MoRE: Structural Mixture of Residual Experts for Parameter-Efficient LLM Fine-tuning [19.038272193170297]
  我々は,LoRAの効率とMoEの柔軟性をシームレスに統合する新しいフレームワークであるResidual Experts (S'MoRE)を提案する。 S'MoREは、残余のサブツリーを通して入力トークンをルーティングすることで、少数の低ランク行列をインスタンス化し組み立てることで、多くの専門家の能力をエミュレートする。
  論文  参考訳（メタデータ） (2025-04-08T20:54:00Z)
• From Markov to Laplace: How Mamba In-Context Learns Markov Chains [36.22373318908893]
  我々はマルコフ連鎖の文脈内学習について研究し、驚くべき現象を明らかにする。 トランスとは異なり、単層マンバでさえ、文脈内ラプラシアスムージング推定器を効率的に学習する。 これらの理論的な洞察は経験的な結果と強く一致し、マンバと最適統計推定器の間の最初の公式な関係を表す。
  論文  参考訳（メタデータ） (2025-02-14T14:13:55Z)
• Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity [56.0251572416922]
  状態空間モデル(SSM)は、シーケンシャルモデリングのためのトランスフォーマーの効率的な代替手段として登場した。 本稿では,Mambaブロックのモダリティ特異的パラメータ化により,モダリティを意識した疎結合を実現する新しいSSMアーキテクチャを提案する。 マルチモーダル事前学習環境におけるMixture-of-Mambaの評価を行った。
  論文  参考訳（メタデータ） (2025-01-27T18:35:05Z)
• Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
  Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。 本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
  論文  参考訳（メタデータ） (2024-12-21T13:43:51Z)
• MobileMamba: Lightweight Multi-Receptive Visual Mamba Network [51.33486891724516]
  従来の軽量モデルの研究は、主にCNNとTransformerベースの設計に重点を置いてきた。 効率と性能のバランスをとるMobileMambaフレームワークを提案する。 MobileMambaはTop-1で83.6%を達成し、既存の最先端の手法を上回っている。
  論文  参考訳（メタデータ） (2024-11-24T18:01:05Z)
• Bi-Mamba: Towards Accurate 1-Bit State Space Models [28.478762133816726]
  Bi-Mambaは、より効率的な大規模言語モデルのために設計されたスケーラブルでパワフルな1ビットのMambaアーキテクチャである。 Bi-Mambaは完全な精度(FP16やBF16など)に匹敵するパフォーマンスを実現し、ポストトレーニングバイナリ化(PTB)のMambaベースラインよりもはるかに精度が高い。
  論文  参考訳（メタデータ） (2024-11-18T18:59:15Z)
• MambaPEFT: Exploring Parameter-Efficient Fine-Tuning for Mamba [0.5530212768657544]
  ステートスペースモデル(SSM)ベースのモデルであるMambaは、トランスフォーマーの代替として注目されている。 Mambaに適用した場合のトランスフォーマーに対する既存のPEFT法の有効性について検討する。 本研究では,マンバの固有構造を利用した新しいPEFT法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T11:57:55Z)
• Mamba for Scalable and Efficient Personalized Recommendations [0.135975510645475]
  本稿では,FT-Transformer アーキテクチャにおいて,Transformer 層を Mamba 層に置き換える新しいハイブリッドモデルを提案する。 FT-Mambaを従来のTransformerベースモデルと比較し,3つのデータセット上でのTwo-Towerアーキテクチャについて検討した。
  論文  参考訳（メタデータ） (2024-09-11T14:26:14Z)
• ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
  本研究では,長い文脈の理解能力を高めるReMambaを提案する。 ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
  論文  参考訳（メタデータ） (2024-08-28T02:47:27Z)
• Integrating Multi-Modal Input Token Mixer Into Mamba-Based Decision Models: Decision MetaMamba [0.0]
  状態空間モデル(SSM)を用いたシーケンスモデリングは、様々なタスクにおけるトランスフォーマーよりもパフォーマンスが優れていることを示した。 しかし、最先端のSSMであるMambaに基づく決定モデルは、拡張された決定変換器よりも優れた性能を達成できなかった。 本稿では,DMM(Decision MetaMamba)を提案する。
  論文  参考訳（メタデータ） (2024-08-20T03:35:28Z)
• Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
  我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
  論文  参考訳（メタデータ） (2024-08-06T10:46:46Z)
• CoMMIT: Coordinated Multimodal Instruction Tuning [90.1532838391285]
  マルチモーダル大言語モデル(MLLM)は一般に、バックボーンLLMと非テキスト入力モードの特徴エンコーダ間の協調学習を含む。 本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 本稿では,学習のバランスを定量的に測定できるマルチモーダルバランス係数を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Mamba-PTQ: Outlier Channels in Recurrent Large Language Models [49.1574468325115]
  本研究では,マンバモデルが注目型LLMで観測された異常チャネルと同じパターンを示すことを示す。 本研究では,SSMの定量化が難しい理由は,トランスフォーマーベースLLMで見られるような,アクティベーションアウトレーヤによるものであることを示す。
  論文  参考訳（メタデータ） (2024-07-17T08:21:06Z)
• Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
  そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。 MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。 MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-09T08:50:18Z)
• An Empirical Study of Mamba-based Language Models [69.74383762508805]
  Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。 同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。 8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
  論文  参考訳（メタデータ） (2024-06-12T05:25:15Z)
• Can Mamba Learn How to Learn? A Comparative Study on In-Context Learning Tasks [25.092302463435523]
  状態空間モデル(SSM)は言語モデリングにおけるトランスフォーマーネットワークの代替として提案されている。 本研究では,各種タスクを対象としたトランスフォーマーモデルに対して,マンバに着目したSSMのICL性能を評価する。
  論文  参考訳（メタデータ） (2024-02-06T18:56:35Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)
• MambaByte: Token-free Selective State Space Model [71.90159903595514]
  マンババイト(英: MambaByte)は、マンバSSMがバイト配列で自己回帰的に訓練したトークンレス適応である。 MambaByteは、言語モデリングタスクにおいて、最先端のサブワードトランスフォーマーよりも優れています。
  論文  参考訳（メタデータ） (2024-01-24T18:53:53Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。