論文の概要: LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA
Composition
- arxiv url: http://arxiv.org/abs/2307.13269v1
- Date: Tue, 25 Jul 2023 05:39:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-26 18:15:34.716577
- Title: LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA
Composition
- Title(参考訳): LoraHub: 動的LoRA合成によるクロスタスクの効率的な一般化
- Authors: Chengsong Huang, Qian Liu, Bill Yuchen Lin, Tianyu Pang, Chao Du, Min
Lin
- Abstract要約: ローランク適応(LoRA)は、新しいタスクのための細い大言語モデル(LLM)に使用される。
本稿では、クロスタスク一般化のためのLoRA合成可能性について検討し、LoraHubを紹介する。
LoRAモジュールは、さまざまなタスクでトレーニングされており、目に見えないタスクで適応可能なパフォーマンスを達成することを目的としている。
- 参考スコア(独自算出の注目度): 43.1600011890447
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Low-rank adaptations (LoRA) are often employed to fine-tune large language
models (LLMs) for new tasks. This paper investigates LoRA composability for
cross-task generalization and introduces LoraHub, a strategic framework devised
for the purposive assembly of LoRA modules trained on diverse given tasks, with
the objective of achieving adaptable performance on unseen tasks. With just a
few examples from a novel task, LoraHub enables the fluid combination of
multiple LoRA modules, eradicating the need for human expertise. Notably, the
composition requires neither additional model parameters nor gradients. Our
empirical results, derived from the Big-Bench Hard (BBH) benchmark, suggest
that LoraHub can effectively mimic the performance of in-context learning in
few-shot scenarios, excluding the necessity of in-context examples alongside
each inference input. A significant contribution of our research is the
fostering of a community for LoRA, where users can share their trained LoRA
modules, thereby facilitating their application to new tasks. We anticipate
this resource will widen access to and spur advancements in general
intelligence as well as LLMs in production. Code will be available at
https://github.com/sail-sg/lorahub.
- Abstract(参考訳): ローランク適応(LoRA)は、しばしば新しいタスクのために細調整された大きな言語モデル(LLM)に使用される。
本稿では, クロスタスク一般化のためのLORA構成可能性について検討し, 多様なタスクで訓練されたLORAモジュールのパーポーブアセンブリのために考案された戦略フレームワークであるLoraHubを紹介する。
新しいタスクのほんの数例で、LoraHubは複数のLoRAモジュールの流体結合を可能にし、人間の専門知識の必要性を根絶している。
特に、合成には追加のモデルパラメータや勾配は必要ない。
big-bench hard(bbh)ベンチマークから得られた実験結果から,lorahubは,各推論入力と並行してコンテキスト内サンプルの必要性を除外して,少数のシナリオにおいて,コンテキスト内学習のパフォーマンスを効果的に模倣できることが示唆された。
私たちの研究の大きな貢献は、LoRAのコミュニティの育成です。LoRAモジュールをトレーニングして共有することで、新しいタスクにアプリケーションを簡単に適用できます。
我々は、この資源が汎用知能とLLMの製品化の進展を拡大し、促進することを期待している。
コードはhttps://github.com/sail-sg/lorahubで入手できる。
関連論文リスト
- MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA based Mixture of Experts [2.197828671701335]
MixLoRAは、リソース効率の良いスパースMoEモデルの構築を目的とした革新的なアプローチである。
実験では、MixLoRAは、シングルタスクとマルチタスクの学習シナリオの両方で、すべての評価指標の可読性を達成する。
論文 参考訳(メタデータ) (2024-04-22T02:15:52Z) - LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative
Tasks [72.88244322513039]
LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。
動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。
6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
論文 参考訳(メタデータ) (2024-02-18T04:41:25Z) - LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed
Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。
LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。
実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文 参考訳(メタデータ) (2024-02-15T15:02:46Z) - Chain of LoRA: Efficient Fine-tuning of Language Models via Residual
Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。
計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文 参考訳(メタデータ) (2024-01-08T14:26:49Z) - MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。
LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。
我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文 参考訳(メタデータ) (2023-11-20T02:59:18Z) - S-LoRA: Serving Thousands of Concurrent LoRA Adapters [61.089170968404204]
パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。
本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
論文 参考訳(メタデータ) (2023-11-06T17:26:17Z) - Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE [85.76186554492543]
LLM(Large Language Models)は、命令チューニングを通じて、ゼロショット能力をマルチモーダル学習に拡張することができる。
ネガティブな対立や干渉は パフォーマンスに悪影響を及ぼすかもしれない
我々は,MLLMを用いたマルチモーダル学習に関する総合的な研究と実験を行うための,Octaviusと呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-05T15:48:29Z) - LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models [67.58275666573496]
LongLoRAは、トレーニング済みの大規模言語モデルのコンテキストサイズを拡張する、効率的な微調整アプローチである。
7B/13Bから70BまでのLlama2モデル上での各種タスクに対する実験結果が強かった。
論文 参考訳(メタデータ) (2023-09-21T17:59:11Z) - DyLoRA: Parameter Efficient Tuning of Pre-trained Models using Dynamic
Search-Free Low-Rank Adaptation [18.922066770467914]
ローランクアダプタ(LoRA)は、モデルの主要なトレーニング済み重量を凍結させ、学習可能なSVDモジュールをモデルに導入する。
LoRAブロックはパラメータ効率が高いが、2つの大きな問題に悩まされている。
これら2つの問題を解決するために,動的低ランク適応(DyLoRA)技術を導入する。
論文 参考訳(メタデータ) (2022-10-14T06:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。