論文の概要: Parameter Efficient Instruction Tuning: An Empirical Study

• arxiv url: http://arxiv.org/abs/2411.16775v1
• Date: Mon, 25 Nov 2024 07:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:33:23.893313
• Title: Parameter Efficient Instruction Tuning: An Empirical Study
• Title（参考訳）: パラメータ効率のよい授業チューニング:実証的研究
• Authors: Pengfei He,
• Abstract要約: 効率的なファインタニング(PEFT)は、完全なファインタニングに比べて計算量、メモリ、ストレージコストが大幅に小さくなるため、命令チューニングのコスト効率が向上している。 実験により、LoRAとアダプタだけが、理想的なトレーニング設定で完全に微調整できることがわかった。
• 参考スコア（独自算出の注目度）: 1.5186090363516862
• License:
• Abstract: Instruction tuning has become an important step for finetuning pretrained language models to better follow human instructions and generalize on various tasks. Nowadays, pretrained language models become increasingly larger, and full parameter finetuning is overwhelmingly costly. Therefore, Parameter Efficient Finetuning (PEFT) has arisen as a cost-effective practice for instruction tuning because of significantly smaller computational, memory, and storage cost compared to full finetuning. Despite their widespread adaptations, the vast hyperparameter spaces, the number of PEFT methods, the different focus of instruction tuning capabilities make disentangling the impact of each aspect difficult. This study systematically investigates several representative PEFT methods, surveying the effect of hyperparameter choices including training hyperparameters and PEFT-specific hyperparameters, how different models sizes and the number of instruction tasks affect the performance, in-task-distribution memorization and open instruction following capability. Our empirical study shows that only LoRA and adapter can get close to full finetuning with ideal training settings. The ideal training setting includes an appropriate learning rate, largest LoRA rank or adapter size allowed and diverse training tasks. On the other hand, LoRA and adapter suffer from training instability if such an ideal training condition is not met. Additionally, LoRA requires a greater number of tasks for effective unseen task generalization, exhibit slower learning speed. Moreover, LoRA has weaker task-level memorization. Lastly, LoRA and adapter fall short in complex reasoning, coding and long-form generation compared to finetuning in open instruction tuning settings but it shows stronger capabilities compared to adapter.
• Abstract（参考訳）: インストラクションチューニングは、事前訓練された言語モデルを微調整し、人間の指示に従い、様々なタスクを一般化するための重要なステップとなっている。 現在、事前訓練された言語モデルはますます大きくなり、完全なパラメータの微調整は圧倒的にコストがかかる。 そのため、パラメータ効率のよいファインタニング(PEFT)は、完全なファインタニングに比べて計算、メモリ、ストレージコストが大幅に小さくなるため、命令チューニングのコスト効率が向上している。 広範なハイパーパラメータ空間、PEFT法の数、命令チューニング機能の違いにより、各側面の影響を解消することは困難である。 本研究では,複数の代表的PEFT手法を体系的に検討し,訓練用ハイパーパラメータとPEFT固有のハイパーパラメータを含むハイパーパラメータ選択の効果,モデルサイズと命令タスク数の違いがパフォーマンスに与える影響,タスク内分布記憶とオープン命令追従能力に与える影響について検討した。 実験により、LoRAとアダプタだけが、理想的なトレーニング設定で完全に微調整できることがわかった。 理想的なトレーニング設定には、適切な学習率、最大のLoRAランクまたはアダプタサイズ、多様なトレーニングタスクが含まれる。 一方、LORAとアダプタは、そのような理想的なトレーニング条件が満たされていない場合、トレーニング不安定に悩まされる。 加えて、LoRAは効率的な未確認タスクの一般化のためにより多くのタスクを必要とし、学習速度を遅くする。 さらに、LoRAはタスクレベルの記憶が弱い。 最後に、LoRAとアダプタは、オープンな命令チューニング設定の微調整に比べて複雑な推論、コーディング、長文生成に不足するが、アダプタと比較してより強力な機能を示している。

関連論文リスト

• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
  この論文は小説を紹介します。 COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。 トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。 提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
  論文  参考訳（メタデータ） (2023-12-14T13:00:24Z)
• TAIL: Task-specific Adapters for Imitation Learning with Large Pretrained Models [32.83440439290383]
  TAIL(Task-specific Adapters for Learning)は,新しい制御タスクに効率的に適応するためのフレームワークである。 言語領域におけるパラメータ効率の良い微調整の最近の進歩に触発されて,効率的な微調整技術を探究する。 大規模言語条件の操作タスクにおける実験から,LoRAを用いたTAILは適応後最高の性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T17:49:50Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)
• Evaluating Parameter-Efficient Transfer Learning Approaches on SURE Benchmark for Speech Understanding [40.27182770995891]
  ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。 本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-03-02T08:57:33Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
  Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
  論文  参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。