論文の概要: PLoRA: Efficient LoRA Hyperparameter Tuning for Large Models

• arxiv url: http://arxiv.org/abs/2508.02932v1
• Date: Mon, 04 Aug 2025 22:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.70456
• Title: PLoRA: Efficient LoRA Hyperparameter Tuning for Large Models
• Title（参考訳）: PLoRA:大規模モデルのための効率的なLoRAハイパーパラメータチューニング
• Authors: Minghao Yan, Zhuang Wang, Zhen Jia, Shivaram Venkataraman, Yida Wang,
• Abstract要約: Low-rank Adaptation (LoRA) はLarge Language Models (LLM) のための微調整アプローチとして人気を集めている。 現在のトレーニングパラダイムはハードウェアリソースを効率的に利用せず、性能の高いLoRAを得るために高いオーバーヘッドを必要とする。 ハードウェアおよびモデル制約下で,並列的なLoRA微調整ジョブを自動的にオーケストレーションするPLoRAを提案する。
• 参考スコア（独自算出の注目度）: 10.448598480883383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank Adaptation (LoRA) has gained popularity as a fine-tuning approach for Large Language Models (LLMs) due to its low resource requirements and good performance. While a plethora of work has investigated improving LoRA serving efficiency by serving multiple LoRAs concurrently, existing methods assume that a wide range of LoRA adapters are available for serving. In our work, we conduct extensive empirical studies to identify that current training paradigms do not utilize hardware resources efficiently and require high overhead to obtain a performant LoRA. Leveraging these insights, we propose PLoRA, which automatically orchestrates concurrent LoRA fine-tuning jobs under given hardware and model constraints and develops performant kernels to improve training efficiency. Our experimental studies show that PLoRA reduces the makespan of LoRA fine-tuning over a given hyperparameter search space by up to 7.52x and improves training throughput by up to 12.8x across a range of state-of-the-art LLMs.
• Abstract（参考訳）: 低ランク適応(LoRA)は、低リソース要件と優れたパフォーマンスのために、LLM(Large Language Models)の微調整アプローチとして人気を集めている。 複数のLoRAを同時に提供することで、LoRAの効率を改善するための研究が数多く行われているが、既存の手法では、幅広いLoRAアダプタが利用できると仮定している。 本研究では,現在のトレーニングパラダイムがハードウェアリソースを効率的に利用せず,高いオーバーヘッドを必要とすることを確認するために,広範な実証的研究を行っている。 これらの知見を生かして,ハードウェアおよびモデル制約下で並列なLoRA微調整ジョブを自動オーケストレーションするPLoRAを提案し,トレーニング効率を向上させるために性能カーネルを開発する。 実験により、PLoRAは与えられたハイパーパラメータ探索空間上でのLORA微調整の精度を最大7.52倍に低減し、最先端のLCMの12.8倍のトレーニングスループットを向上することを示した。

関連論文リスト

• LoRA Is Slower Than You Think [0.0]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)において最も広く使われている技術の一つである。 少数のトレーニング可能な低ランク重量行列を導入することで、LoRAは更新される必要のあるパラメータの数を大幅に削減する。 LoRAは、すべてのモデルアーキテクチャやトレーニング設定に対して、一貫してスピード改善を提供していません。
  論文  参考訳（メタデータ） (2025-07-06T08:36:43Z)
• LoRA-Gen: Specializing Large Language Model via Online LoRA Generation [68.01864057372067]
  タスク記述に基づくエッジサイドモデルのLoRAパラメータを生成するためのLoRA-Genフレームワークを提案する。 フレキシブルな特殊化を実現するために,LoRAパラメータをエッジ側モデルにマージする。 本手法は,モデル間の知識伝達を容易にするとともに,特殊モデルの推論効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-06-13T10:11:01Z)
• A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
  Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。 LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。 マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:58:53Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。