論文の概要: HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2404.19245v2
• Date: Thu, 23 May 2024 15:06:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 05:20:55.769516
• Title: HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
• Title（参考訳）: HydraLoRA: 効率的なファインチューニングのための非対称LoRAアーキテクチャ
• Authors: Chunlin Tian, Zhan Shi, Zhijiang Guo, Li Li, Chengzhong Xu,
• Abstract要約: 大規模言語モデルへの微調整による新しいタスクへの適応は、導入によってより効率的になった。 LoRAのようなPEFT(Efficient Fine-Tuning)技術は、フル微調整に比べて性能が劣ることが多い。 ドメインの専門知識を必要としない非対称構造を持つLoRAフレームワークであるHydraLoRAを開発した。
• 参考スコア（独自算出の注目度）: 27.440300738911706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting Large Language Models (LLMs) to new tasks through fine-tuning has been made more efficient by the introduction of Parameter-Efficient Fine-Tuning (PEFT) techniques, such as LoRA. However, these methods often underperform compared to full fine-tuning, particularly in scenarios involving complex datasets. This issue becomes even more pronounced in complex domains, highlighting the need for improved PEFT approaches that can achieve better performance. Through a series of experiments, we have uncovered two critical insights that shed light on the training and parameter inefficiency of LoRA. Building on these insights, we have developed HydraLoRA, a LoRA framework with an asymmetric structure that eliminates the need for domain expertise. Our experiments demonstrate that HydraLoRA outperforms other PEFT approaches, even those that rely on domain knowledge during the training and inference phases.
• Abstract（参考訳）: 大規模言語モデル(LLM)を細調整によって新しいタスクに適応させることは、LoRAのようなパラメータ効率の良い細調整(PEFT)技術を導入することによって、より効率的になりました。 しかし、これらの手法は、特に複雑なデータセットを含むシナリオにおいて、完全な微調整に比べて性能が劣ることが多い。 この問題は複雑なドメインでさらに顕著になり、より優れたパフォーマンスを実現するためのPEFTアプローチの改善の必要性を強調している。 一連の実験を通じて、私たちはLoRAのトレーニングとパラメータ非効率性に光を当てる2つの重要な洞察を発見しました。 これらの知見に基づいて、ドメインの専門知識を必要としない非対称構造を持つLoRAフレームワークであるHydraLoRAを開発した。 実験の結果,HydraLoRAは他のPEFTアプローチよりも優れていることがわかった。

関連論文リスト

• MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning [29.957620178740186]
  マルチタスクのシナリオでは、トレーニングの不均衡やシーソー効果といった課題が頻繁に現れます。 フレキシブルな微調整フレームワークとして非対称低ランク適応(MALoRA)の混合を提案する。 MALoRAはトレーニング可能なパラメータの数を30%から48%削減し、トレーニング速度を1.2倍にし、シングルタスクのLoRAモデルの計算効率に匹敵する。
  論文  参考訳（メタデータ） (2024-10-30T07:53:52Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRA-IR: Taming Low-Rank Experts for Efficient All-in-One Image Restoration [62.3751291442432]
  高速なオールインワン画像復元を実現するために,コンパクトな低ランクの専門家を動的に活用する,フレキシブルなフレームワークであるLoRA-IRを提案する。 LoRA-IRは、劣化誘導前訓練とパラメータ効率の良い微調整の2つの訓練段階で構成されている。 実験により、LoRA-IRは計算効率を維持しつつ、14のIRタスクと29のベンチマークでSOTA性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-20T13:00:24Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning [65.31677646659895]
  本稿では,タスク固有の方向性 (TSD) の概念に着目し,大規模モデルを事前学習状態からPEFTにおけるタスク固有の拡張へ移行させる。 本稿では,微調整過程におけるTSDの影響を最大化し,目標タスクにおけるモデル性能を向上させることを目的とした新しいアプローチであるLoRA-Dashを紹介する。
  論文  参考訳（メタデータ） (2024-09-02T08:10:51Z)
• TeamLoRA: Boosting Low-Rank Adaptation with Expert Collaboration and Competition [61.91764883512776]
  我々は,専門家のためのコラボレーション・コンペティション・モジュールからなる,革新的なPEFT手法であるTeamLoRAを紹介する。 そうすることで、TeamLoRAは専門家を"チーム"として内部のコラボレーションや競争に結び付け、マルチタスク学習のためのより高速で正確なPEFTパラダイムを可能にします。
  論文  参考訳（メタデータ） (2024-08-19T09:58:53Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• LoRA Dropout as a Sparsity Regularizer for Overfitting Control [18.992276878667997]
  そこで本研究では,LoRA方式のドロップアウト機構を提案する。 適切な空間性は、経験的リスクと一般化リスクのギャップを狭めるのに役立ちます。
  論文  参考訳（メタデータ） (2024-04-15T09:32:12Z)
• MoELoRA: Contrastive Learning Guided Mixture of Experts on Parameter-Efficient Fine-Tuning for Large Language Models [24.17147521556083]
  本稿では,新しいPEFT手法であるMoELoRAを紹介する。 数学推論と常識推論のベンチマークにおいて,11のタスクについて実験を行った。 MoELoRAはLoRAよりも4.2%高い平均性能を達成し、いくつかのベンチマークで175B GPT-3.5と比較して競争性能を示した。
  論文  参考訳（メタデータ） (2024-02-20T09:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。