Fugu-MT 論文翻訳(概要): R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning

論文の概要: R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning

arxiv url: http://arxiv.org/abs/2502.15455v2
Date: Mon, 02 Jun 2025 16:26:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-03 16:22:43.106427
Title: R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning
Title（参考訳）: R-LoRA:効率的なマルチタスク学習のためのランダム化マルチヘッドLORA
Authors: Jinda Liu, Yi Chang, Yuan Wu,
Abstract要約: Low-Rank Adaptation (LoRA)は、低ランク行列による重み更新を近似することにより、コスト効率のよいソリューションを提供する。マルチタスク学習におけるLoRAの能力を高めるために,マルチヘッドランダム化を取り入れたR-LoRAを提案する。
参考スコア（独自算出の注目度）: 12.431575579432458
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuning large language models (LLMs) is computationally expensive, and Low-Rank Adaptation (LoRA) provides a cost-effective solution by approximating weight updates through low-rank matrices. In real-world scenarios, LLMs are fine-tuned on data from multiple domains to perform tasks across various fields, embodying multi-task learning (MTL). LoRA often underperforms in such complex scenarios. To enhance LoRA's capability in multi-task learning, we propose R-LoRA, which incorporates Multi-Head Randomization. Multi-Head Randomization diversifies the head matrices through Multi-Head Dropout and Multi-Head Random Initialization, enabling more efficient learning of task-specific features while maintaining shared knowledge representation. Our approach not only improves performance in MTL but also reduces GPU memory usage and training time. Experiments show that R-LoRA's gains stem from increased diversity in the head matrices, demonstrating its effectiveness for multi-task learning. The code is available at https://github.com/jinda-liu/R-LoRA
Abstract（参考訳）: 微調整大型言語モデル (LLMs) は計算コストが高く、ローランク適応 (LoRA) は低ランク行列による重み付けを近似することでコスト効率の良いソリューションを提供する。実世界のシナリオでは、LLMはマルチタスク学習(MTL)を具現化して、複数のドメインのデータに基づいて様々なフィールドでタスクを実行する。 LoRAはこのような複雑なシナリオでは性能が劣ることが多い。マルチタスク学習におけるLoRAの能力を高めるために,マルチヘッドランダム化を取り入れたR-LoRAを提案する。マルチヘッドランダム化は、マルチヘッドドロップアウトとマルチヘッドランダム初期化を通じて頭部行列を多様化し、共有知識表現を維持しながらタスク固有の特徴をより効率的に学習することができる。 MTLの性能を改善するだけでなく、GPUメモリ使用量やトレーニング時間を短縮する。実験により、R-LoRAの利得は、頭部行列の多様性の増大に起因することが示され、マルチタスク学習の有効性が示された。コードはhttps://github.com/jinda-liu/R-LoRAで公開されている。

関連論文リスト

LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation [43.28443278149958]
Low-Rank Adaptation (LoRA)は、Large Language Models (LLMs) のためのPEFT法として人気がある。提案するLoRA with Reduced Interference (LoRI) は,プロジェクション行列をランダムなプロジェクションとして$A$を凍結し,タスク固有のマスクを用いて$B$をスパースする,単純かつ効果的な手法である。
論文参考訳（メタデータ） (2025-04-10T04:46:04Z)
In-Context Meta LoRA Generation [61.690065588534296]
Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
論文参考訳（メタデータ） (2025-01-29T13:12:01Z)
Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
論文参考訳（メタデータ） (2024-10-12T08:32:26Z)
LASeR: Learning to Adaptively Select Reward Models with Multi-Armed Bandits [56.93583799109029]
本稿では,複数のリワードモデル(RM)を用いてLLMを反復的に学習するLASeRを紹介する。以上の結果から,複数のRMを最適化することにより,LASeRの繰り返しLLM最適化を向上できることが示唆された。また、LASeRを用いて緩和可能な複数のRMからの相反する選好の存在を検証する。
論文参考訳（メタデータ） (2024-10-02T16:46:38Z)
CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models [7.108651381160281]
Low-Rank Adaptation (LoRA) 戦略は、微調整された大型モデルにおける効率と性能のバランスをとる。我々は、共有知識を活用してLoRAトレーニングを最適化するtextbfCoRAを提案する。実験の結果,最初のアプローチは,パラメータの半減よりも効率が良く,元のLoRAファインチューニングと同じ効果が得られることがわかった。
論文参考訳（メタデータ） (2024-08-31T12:48:27Z)
Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文参考訳（メタデータ） (2024-02-24T20:15:31Z)
LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2024-02-18T04:41:25Z)
Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文参考訳（メタデータ） (2024-01-08T14:26:49Z)
MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。 LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文参考訳（メタデータ） (2023-11-20T02:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。