論文の概要: LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA
Composition
- arxiv url: http://arxiv.org/abs/2307.13269v2
- Date: Thu, 18 Jan 2024 06:53:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 20:20:51.935477
- Title: LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA
Composition
- Title（参考訳）: LoraHub: 動的LoRA合成によるクロスタスクの効率的な一般化
- Authors: Chengsong Huang, Qian Liu, Bill Yuchen Lin, Tianyu Pang, Chao Du, Min
Lin
- Abstract要約: ローランク適応(LoRA)は、しばしば新しいタスクのために細調整された大きな言語モデル(LLM)に使用される。
本稿では,多様なタスクで訓練されたLoRAモジュールの組み立てのためのフレームワークであるLoraHubを紹介する。
新しいタスクからいくつか例を挙げると、LoraHubは複数のLoRAモジュールを流動的に結合することができ、人間の専門知識や前提を必要としない。
- 参考スコア（独自算出の注目度）: 46.770388457085936
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Low-rank adaptations (LoRA) are often employed to fine-tune large language
models (LLMs) for new tasks. This paper investigates LoRA composability for
cross-task generalization and introduces LoraHub, a simple framework devised
for the purposive assembly of LoRA modules trained on diverse given tasks, with
the objective of achieving adaptable performance on unseen tasks. With just a
few examples from a new task, LoraHub can fluidly combine multiple LoRA
modules, eliminating the need for human expertise and assumptions. Notably, the
composition requires neither additional model parameters nor gradients.
Empirical results on the Big-Bench Hard benchmark suggest that LoraHub, while
not surpassing the performance of in-context learning, offers a notable
performance-efficiency trade-off in few-shot scenarios by employing a
significantly reduced number of tokens per example during inference. Notably,
LoraHub establishes a better upper bound compared to in-context learning when
paired with different demonstration examples, demonstrating its potential for
future development. Our vision is to establish a platform for LoRA modules,
empowering users to share their trained LoRA modules. This collaborative
approach facilitates the seamless application of LoRA modules to novel tasks,
contributing to an adaptive ecosystem. Our code is available at
https://github.com/sail-sg/lorahub, and all the pre-trained LoRA modules are
released at https://huggingface.co/lorahub.
- Abstract（参考訳）: ローランク適応(LoRA)は、しばしば新しいタスクのために細調整された大きな言語モデル(LLM)に使用される。
本稿では,クロスタスク一般化のためのloraコンポーザビリティを調査し,lorahubを提案する。lorahubは多種多様なタスクで訓練されたloraモジュールの汎用的な組み立てのために考案されたシンプルなフレームワークである。
新しいタスクからいくつか例を挙げると、LoraHubは複数のLoRAモジュールを流動的に結合することができ、人間の専門知識や前提を必要としない。
特に、合成には追加のモデルパラメータや勾配は必要ない。
Big-Bench Hardベンチマークの実証的な結果は、LoraHubはコンテキスト内学習のパフォーマンスを上回りませんが、推論中にサンプルあたりのトークン数を著しく削減することで、少数のシナリオで顕著なパフォーマンス効率のトレードオフを提供します。
特に、LoraHubは、さまざまな実演例と組み合わせて、コンテキスト内学習よりも上層境界を確立し、将来の開発の可能性を示している。
私たちのビジョンは、LoRAモジュールのプラットフォームを確立することで、ユーザがトレーニング済みのLoRAモジュールを共有できるようにすることです。
この協調的なアプローチは、LoRAモジュールを新しいタスクにシームレスに適用し、適応的なエコシステムに寄与する。
私たちのコードはhttps://github.com/sail-sg/lorahubで利用可能です。
関連論文リスト
- Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。
本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-24T05:24:41Z) - LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative
Tasks [72.88244322513039]
LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。
動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。
6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
論文 参考訳（メタデータ） (2024-02-18T04:41:25Z) - LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed
Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。
LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。
実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文 参考訳（メタデータ） (2024-02-15T15:02:46Z) - Chain of LoRA: Efficient Fine-tuning of Language Models via Residual
Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。
計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2024-01-08T14:26:49Z) - mLoRA: Fine-Tuning LoRA Adapters via Highly-Efficient Pipeline Parallelism in Multiple GPUs [5.735411578779657]
Low-Rank Adaptation (LoRA) はパラメータ効率のよい微調整法で、ベースLSMを複数の下流タスクに適応させるのに使われる。
LoRAプラットフォームにより、開発者は複数のモデルを微調整し、さまざまなドメイン固有のアプリケーションを同時に開発できる。
既存のモデル並列化スキームは、複数のLoRAタスクをトレーニングする際に、高い通信オーバーヘッドと非効率なGPU利用に悩まされる。
論文 参考訳（メタデータ） (2023-12-05T05:38:38Z) - MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。
LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。
我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文 参考訳（メタデータ） (2023-11-20T02:59:18Z) - S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。
本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
論文 参考訳（メタデータ） (2023-11-06T17:26:17Z) - CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。
実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。
CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
論文 参考訳（メタデータ） (2023-07-15T04:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。