論文の概要: Parameter-Efficient Fine-Tuning of State Space Models

• arxiv url: http://arxiv.org/abs/2410.09016v1
• Date: Fri, 11 Oct 2024 17:30:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 20:36:41.656772
• Title: Parameter-Efficient Fine-Tuning of State Space Models
• Title（参考訳）: 状態空間モデルのパラメータ効率の良い微調整
• Authors: Kevin Galim, Wonjun Kang, Yuchen Zeng, Hyung Il Koo, Kangwook Lee,
• Abstract要約: Deep State Space Models (SSM) は言語モデリングの強力なツールとして登場し、効率的な推論とシーケンス長の線形スケーリングを備えたハイパフォーマンスを提供する。 本稿では,パラメータ効率細調整法(PEFT)のSSMモデルへの適用を体系的に研究することを目的とする。
• 参考スコア（独自算出の注目度）: 10.817729275974829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep State Space Models (SSMs), such as Mamba (Gu & Dao, 2024), have emerged as powerful tools for language modeling, offering high performance with efficient inference and linear scaling in sequence length. However, the application of parameter-efficient fine-tuning (PEFT) methods to SSM-based models remains largely unexplored. This paper aims to systematically study two key questions: (i) How do existing PEFT methods perform on SSM-based models? (ii) Which modules are most effective for fine-tuning? We conduct an empirical benchmark of four basic PEFT methods on SSM-based models. Our findings reveal that prompt-based methods (e.g., prefix-tuning) are no longer effective, an empirical result further supported by theoretical analysis. In contrast, LoRA remains effective for SSM-based models. We further investigate the optimal application of LoRA within these models, demonstrating both theoretically and experimentally that applying LoRA to linear projection matrices without modifying SSM modules yields the best results, as LoRA is not effective at tuning SSM modules. To further improve performance, we introduce LoRA with Selective Dimension tuning (SDLoRA), which selectively updates certain channels and states on SSM modules while applying LoRA to linear projection matrices. Extensive experimental results show that this approach outperforms standard LoRA.
• Abstract（参考訳）: Mamba (Gu & Dao, 2024)のようなDeep State Space Models (SSM)は、言語モデリングの強力なツールとして登場し、効率的な推論とシーケンス長の線形スケーリングを提供する。 しかし、パラメータ効率のよい微調整(PEFT)法のSSMモデルへの応用は、まだほとんど未検討である。 本稿では,2つの質問を体系的に研究することを目的とする。 (i)既存のPEFTメソッドはSSMベースのモデルでどのように動作するか? (ii)どのモジュールが微調整に最も効果的か? 我々は,SSMモデル上で,4つの基本PEFT手法の実証的なベンチマークを行う。 以上の結果から,プロンプトベースの手法(例えばプレフィックスチューニング)はもはや有効ではなく,理論的解析によってさらに実証的な結果が得られた。 対照的に、LoRAはSSMベースのモデルに有効である。 さらに,これらのモデルにおける LoRA の最適適用について検討し,SSM モジュールを変更せずに線形射影行列に LoRA を適用すると,SSM モジュールのチューニングに有効ではないため,最良の結果が得られることを理論的および実験的に証明した。 線形射影行列にLoRAを適用しながら、SSMモジュール上の特定のチャネルや状態を選択的に更新するSDLoRA(Selective Dimension tuning)を導入する。 大規模な実験結果から、この手法は標準のLoRAよりも優れていたことが分かる。

関連論文リスト

• DiffoRA: Enabling Parameter-Efficient LLM Fine-Tuning via Differential Low-Rank Matrix Adaptation [32.369133126167085]
  そこで我々は,理論上基礎を成し,モジュールワイドなLoRAを実現する,DiffoRAと呼ばれる新しいPEFT方式を提案する。 DiffoRAの中核には微分適応行列(DAM)があり、どのモジュールが最も適しており、微調整に不可欠かを決定する。 提案手法は,様々なベンチマークにおいて,最先端のベースラインに対して最高のモデル精度を実現する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• Robust Federated Finetuning of LLMs via Alternating Optimization of LoRA [14.789886179102425]
  BERT-Efficient Fine-Tuning (PEFT) 法では、ローランド適応 (LoRA) は計算と通信のコストを削減し、フェデレーショントレーニングを最適化する。 ファインチューンなLoRAアダプタに交互に最適化を施した,フェデレートされたフレームワークであるRoLoRAを提案する。
  論文  参考訳（メタデータ） (2025-02-03T19:02:00Z)
• S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、逐次的なタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れてきた。 本稿では,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応(S-LoRA)手法を提案する。 我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• SLMRec: Distilling Large Language Models into Small for Sequential Recommendation [38.51895517016953]
  シーケンシャルレコメンデーションタスクでは、過去のインタラクションを考慮して、ユーザが対話する可能性のある次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)
• MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies [85.57899012821211]
  SLM(Small Language Models)は、LLM(Large Language Models)に代わるリソース効率の高いモデルである。 我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータの変種を紹介する。 また、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーについても紹介する。
  論文  参考訳（メタデータ） (2024-04-09T15:36:50Z)
• State Space Models as Foundation Models: A Control Theoretic Overview [3.3222241150972356]
  近年、ディープニューラルネットワークアーキテクチャにおける線形状態空間モデル(SSM)の統合への関心が高まっている。 本論文は、制御理論者のためのSSMベースのアーキテクチャの穏やかな導入を目的としたものである。 もっとも成功したSSM提案の体系的なレビューを提供し、コントロール理論の観点から主要な特徴を強調している。
  論文  参考訳（メタデータ） (2024-03-25T16:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。