論文の概要: Does Combining Parameter-efficient Modules Improve Few-shot Transfer Accuracy?

• arxiv url: http://arxiv.org/abs/2402.15414v1
• Date: Fri, 23 Feb 2024 16:20:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 14:03:34.326459
• Title: Does Combining Parameter-efficient Modules Improve Few-shot Transfer Accuracy?
• Title（参考訳）: パラメータ効率のよいモジュールの組み合わせはショット転送精度を向上するか?
• Authors: Nader Asadi, Mahdi Beitollahi, Yasser Khalil, Yinchuan Li, Guojun Zhang, Xi Chen
• Abstract要約: 本稿では,LoRAモジュールの構成可能性について検討し,事前学習したモジュールを組み合わせることで,下流タスクに対する一般化が促進されるかどうかを検討する。 視覚モデルと言語モデルの両方の実験結果から,ダウンストリームタスクに限られたサンプルしか使用できない場合において,均一な合成法と学習された合成法により,転送精度が向上することが明らかとなった。 本研究は、学習可能なパラメータを追加することなく、低ショット設定での転送可能性を高めるための均一な構成の可能性を明らかにする。
• 参考スコア（独自算出の注目度）: 19.716749548892214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning stands as the standard for efficiently fine-tuning large language and vision models on downstream tasks. Specifically, the efficiency of low-rank adaptation has facilitated the creation and sharing of hundreds of custom LoRA modules, each trained on distinct data from various downstream tasks. In this paper, we explore the composability of LoRA modules, examining if combining these pre-trained modules enhances generalization to unseen downstream tasks. Our investigation involves evaluating two approaches: (a) uniform composition, involving averaging upstream LoRA modules with equal weights, and (b) learned composition, where we learn the weights for each upstream module and perform weighted averaging. Our experimental results on both vision and language models reveal that in few-shot settings, where only a limited number of samples are available for the downstream task, both uniform and learned composition methods result in better transfer accuracy; outperforming full fine-tuning and training a LoRA from scratch. Moreover, in full-shot settings, learned composition performs comparably to regular LoRA training with significantly fewer number of trainable parameters. Our research unveils the potential of uniform composition for enhancing transferability in low-shot settings, without introducing additional learnable parameters.
• Abstract（参考訳）: パラメータ効率の良い微調整は、下流タスクで大規模言語や視覚モデルを効率的に微調整するための標準である。 特に、低ランク適応の効率により、数百のカスタムloraモジュールの作成と共有が容易になり、それぞれが下流のさまざまなタスクから異なるデータに基づいてトレーニングされた。 本稿では,LoRAモジュールの構成可能性について検討し,これらの事前学習モジュールを組み合わせることで,下流タスクに対する一般化が促進されるかどうかを検討する。 我々の調査は2つのアプローチを評価します (a)同じ重量で上流のLoRAモジュールを平均化する均一な構成 (b)各上流モジュールの重みを学習し,重み付け平均化を行う構成法を学習した。 視覚モデルと言語モデルの両方の実験結果から,ダウンストリームタスクに限られたサンプルしか使用できない場合,均一な構成法と学習された構成法の両方で,転送精度が向上すること,LoRAをスクラッチから完全に微調整し,トレーニングすること,などが判明した。 さらに、フルショット設定では、学習されたコンポジションは通常のLoRAトレーニングと互換性があり、トレーニング可能なパラメータの数は著しく少ない。 本研究は,学習可能なパラメータを付加することなく,低ショット環境での転送性を向上させるための一様構成の可能性を明らかにする。

関連論文リスト

• DiffoRA: Enabling Parameter-Efficient LLM Fine-Tuning via Differential Low-Rank Matrix Adaptation [32.369133126167085]
  そこで我々は,理論上基礎を成し,モジュールワイドなLoRAを実現する,DiffoRAと呼ばれる新しいPEFT方式を提案する。 DiffoRAの中核には微分適応行列(DAM)があり、どのモジュールが最も適しており、微調整に不可欠かを決定する。 提案手法は,様々なベンチマークにおいて,最先端のベースラインに対して最高のモデル精度を実現する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
  本研究では, 異なる微調整法が, スペクトル特性のレンズを用いてモデルの重み行列を解析することにより, 事前学習モデルを変化させる方法について検討した。 単一値分解が全く異なる構造を持つ全微調整およびLoRA収量行列が得られた。 イントルーダ次元がLoRAの微調整モデルになぜ現れるのか、なぜそれらが望ましくないのか、そしてどのようにしてその効果を最小化できるかを検討することで結論を下す。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。 このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
  Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。 一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。 GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
  論文  参考訳（メタデータ） (2023-06-13T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。