論文の概要: Dynamic Subset Tuning: Expanding the Operational Range of Parameter-Efficient Training for Large Language Models

• arxiv url: http://arxiv.org/abs/2411.08610v1
• Date: Wed, 13 Nov 2024 13:53:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:09:32.505493
• Title: Dynamic Subset Tuning: Expanding the Operational Range of Parameter-Efficient Training for Large Language Models
• Title（参考訳）: 動的サブセットチューニング:大規模言語モデルのためのパラメータ効率訓練の操作範囲を広げる
• Authors: Felix Stahlberg, Jared Lichtarge, Shankar Kumar,
• Abstract要約: 大規模言語モデルのための新しいパラメータ効率訓練法を提案する。 従来の方法とは異なり、このサブセットはロケーションで固定されるのではなく、トレーニングの過程でどのパラメータが修正されるかである。 本手法により, モデル全体の任意の割合で, サブセットサイズをシームレスにスケーリングすることができる。
• 参考スコア（独自算出の注目度）: 14.762222323897978
• License:
• Abstract: We propose a novel parameter-efficient training (PET) method for large language models that adapts models to downstream tasks by optimizing a small subset of the existing model parameters. Unlike prior methods, this subset is not fixed in location but rather which parameters are modified evolves over the course of training. This dynamic parameter selection can yield good performance with many fewer parameters than extant methods. Our method enables a seamless scaling of the subset size across an arbitrary proportion of the total model size, while popular PET approaches like prompt tuning and LoRA cover only a small part of this spectrum. We match or outperform prompt tuning and LoRA in most cases on a variety of NLP tasks (MT, QA, GSM8K, SuperGLUE) for a given parameter budget across different model families and sizes.
• Abstract（参考訳）: 既存のモデルパラメータの小さな部分集合を最適化することにより、下流タスクにモデルを適用する大規模言語モデルのための新しいパラメータ効率訓練法を提案する。 従来の方法とは異なり、このサブセットはロケーションで固定されるのではなく、トレーニング中にどのパラメータが修正されるかが変更される。 この動的パラメータ選択は、既存手法よりも多くのパラメータで優れた性能が得られる。 提案手法では,サブセットサイズをモデル全体の任意の割合でシームレスにスケーリングできる一方で,プロンプトチューニングやLoRAといった一般的なPETアプローチでは,このスペクトルのごく一部しかカバーできない。 NLPタスク(MT, QA, GSM8K, SuperGLUE)では,モデルファミリやサイズによってパラメータ予算が異なる場合が多い。

関連論文リスト

• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Improving generalization in large language models by learning prefix subspaces [5.911540700785975]
  本稿では、希少なデータ構造における大規模言語モデル(LLM)の微調整に焦点を当てる("few-shot"学習環境としても知られる)。 ニューラルネットワーク部分空間に基づくLLMの一般化能力を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T12:44:09Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)
• Parameter-Efficient Tuning with Special Token Adaptation [25.37998979962568]
  PASTAは自然言語理解タスクの微調整に匹敵するパフォーマンスを実現している。 我々の研究は、事前訓練された言語モデルにおける特別なトークンの重要な役割を実証している。
  論文  参考訳（メタデータ） (2022-10-10T01:02:51Z)
• Meta-Learning the Difference: Preparing Large Language Models for Efficient Adaptation [11.960178399478718]
  大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。 その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
  論文  参考訳（メタデータ） (2022-07-07T18:00:22Z)
• UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
  本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。 注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
  論文  参考訳（メタデータ） (2021-10-14T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。