論文の概要: Flexora: Flexible Low Rank Adaptation for Large Language Models
- arxiv url: http://arxiv.org/abs/2408.10774v1
- Date: Tue, 20 Aug 2024 12:13:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 13:55:03.922389
- Title: Flexora: Flexible Low Rank Adaptation for Large Language Models
- Title(参考訳): Flexora: 大規模言語モデルに対するフレキシブルな低ランク適応
- Authors: Chenxing Wei, Yao Shu, Ying Tiffany He, Fei Richard Yu,
- Abstract要約: 大規模言語モデル(LLM)は、モデルパラメータのスケールを拡大することで、人工知能の進歩を推進している。
特定の下流タスクにおけるそれらのパフォーマンスは、通常これらのタスクの知識境界によって妨げられる。
本稿では,フレキシブルな低ランク適応法 (Flexora) を提案する。
- 参考スコア(独自算出の注目度): 12.696136981847438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are driving advancements in artificial intelligence by increasing the scale of model parameters, which has significantly enhanced generalization ability and unlocked new capabilities in practice. However, their performance in specific downstream tasks is usually hindered by their knowledge boundaries on these tasks. Thus, fine-tuning techniques, especially the widely used Low-Rank Adaptation (LoRA) method, have been introduced to expand the boundaries on these tasks, whereas LoRA would underperform on certain tasks owing to its potential overfitting on these tasks. To overcome this overfitting and improve the performance of LoRA, we propose the flexible low rank adaptation (Flexora) method to automatically and flexibly select the most important layers needing to be fine-tuned to achieve the best performance on different downstream tasks. Specifically, Flexora firstly frames this layer selection problem as a well-defined hyperparameter optimization (HPO) problem, then addresses it using the unrolled differentiation (UD) method, and finally selects the most useful layers based on the optimized hyperparameters. Our extensive experiments on many pretrained models and natural language tasks show that Flexora is able to consistently improve over the existing baselines, indicating the effectiveness of our Flexora in practice. We additionally provide insightful theoretical results and many ablation studies to deliver a comprehensive understanding of our Flexora.
- Abstract(参考訳): 大規模言語モデル(LLM)は、モデルパラメータのスケールを拡大することで、人工知能の進歩を推進している。
しかしながら、特定の下流タスクにおけるそれらのパフォーマンスは、通常これらのタスクの知識境界によって妨げられる。
したがって、細調整技術、特に広く使われているローランド適応法(LoRA)は、これらのタスクの境界を広げるために導入され、一方LoRAは、これらのタスクに過度に適合する可能性があるため、特定のタスクで性能が低下する。
このオーバーフィッティングを克服し、LoRAの性能を向上させるために、異なる下流タスクにおいて最高のパフォーマンスを達成するために微調整が必要な最も重要なレイヤを自動的に柔軟に選択するフレキシブルな低ランク適応(Flexora)手法を提案する。
具体的には、Flexoraはまず、この層選択問題を、適切に定義されたハイパーパラメータ最適化(HPO)問題としてフレーム化し、非ローリング微分(UD)法を用いて対処し、最後に最適化されたハイパーパラメータに基づいて最も有用な層を選択する。
多くの事前訓練されたモデルと自然言語タスクに関する広範な実験は、Flexoraが既存のベースラインよりも一貫して改善できることを示し、実際にFlexoraの有効性を示している。
さらに、Flexoraを包括的に理解するために、洞察に富んだ理論的結果と多くのアブレーション研究も提供します。
関連論文リスト
- SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳(メタデータ) (2024-07-10T10:22:35Z) - Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。
提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
論文 参考訳(メタデータ) (2024-07-01T17:28:59Z) - OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models [0.0]
Low-Rank Adaptation (LoRA)はこれらの問題を緩和するための有望な方法として登場した。
OLoRAはLLMトレーニングの収束を著しく加速する。
OLoRAは、様々な言語モデリングタスクで標準のLoRAよりもパフォーマンスが向上している。
論文 参考訳(メタデータ) (2024-06-03T20:37:27Z) - One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。
本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-05-30T03:44:54Z) - AdaMoLE: Fine-Tuning Large Language Models with Adaptive Mixture of Low-Rank Adaptation Experts [0.0]
本稿では,Lank Adaptation ExpertsのAdaptive Mixtureを通じて,大規模言語モデル(LLM)を微調整する新しい手法であるAdaMoLEを紹介する。
AdaMoLEは専用のしきい値ネットワークを使用してアクティベーション閾値を動的に調整し、異なるタスクの複雑さに応じて適応的に応答する。
論文 参考訳(メタデータ) (2024-05-01T07:33:43Z) - Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。
本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
論文 参考訳(メタデータ) (2024-02-22T18:56:07Z) - Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources [31.041608465716575]
大規模言語モデル(LLM)のパラメータ効率の高い微調整には、最近FL(Federated Learning)が適用されている。
本研究では,LLMファインチューニングのための簡易かつ効果的なアグリゲーションスキームFlexLoRAを紹介する。
論文 参考訳(メタデータ) (2024-02-18T08:32:59Z) - Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文 参考訳(メタデータ) (2024-02-09T07:45:26Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳(メタデータ) (2024-01-20T20:25:17Z) - One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。
一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。
GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
論文 参考訳(メタデータ) (2023-06-13T17:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。