論文の概要: Batched Low-Rank Adaptation of Foundation Models

• arxiv url: http://arxiv.org/abs/2312.05677v3
• Date: Thu, 25 Apr 2024 21:45:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 17:48:19.320069
• Title: Batched Low-Rank Adaptation of Foundation Models
• Title（参考訳）: 基礎モデルのバッチ型低ランク適応
• Authors: Yeming Wen, Swarat Chaudhuri,
• Abstract要約: ローランド適応 (LoRA) は, トレーニング可能な低ランク行列を組み込んだファウンデーションモデルに注目されている。 我々はFast LoRA(FloRA)という,ミニバッチにおける各入力例を,そのユニークな低ランク適応重みに関連付けることのできるフレームワークを紹介した。 我々は,FLoRAがLoRAの性能特性を保っていることを実証的に証明し,8言語にまたがるMultipleコード生成ベンチマークと6言語にまたがる多言語音声認識タスクにおいて,競合する結果を示す。
• 参考スコア（独自算出の注目度）: 14.037826400805741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has recently gained attention for fine-tuning foundation models by incorporating trainable low-rank matrices, thereby reducing the number of trainable parameters. While LoRA offers numerous advantages, its applicability for real-time serving to a diverse and global user base is constrained by its incapability to handle multiple task-specific adapters efficiently. This imposes a performance bottleneck in scenarios requiring personalized, task-specific adaptations for each incoming request. To mitigate this constraint, we introduce Fast LoRA (FLoRA), a framework in which each input example in a minibatch can be associated with its unique low-rank adaptation weights, allowing for efficient batching of heterogeneous requests. We empirically demonstrate that FLoRA retains the performance merits of LoRA, showcasing competitive results on the MultiPL-E code generation benchmark spanning over 8 languages and a multilingual speech recognition task across 6 languages.
• Abstract（参考訳）: ローランク適応 (LoRA) は, トレーニング可能な低ランク行列を組み込むことにより, 微調整基礎モデルに注目されている。 LoRAには多くの利点があるが、多様なグローバルユーザベースへのリアルタイムサービスの適用性は、複数のタスク固有のアダプタを効率的に扱うことができないことによる制約がある。 これにより、受信するリクエストごとにパーソナライズされたタスク固有の適応を必要とするシナリオのパフォーマンスボトルネックが課される。 この制約を緩和するために、我々はFast LoRA (FLoRA) を導入する。Fast LoRAは、ミニバッチ内の各入力例を、その固有の低ランク適応重みに関連付けることができ、不均一な要求の効率的なバッチ化を可能にするフレームワークである。 8言語にまたがるMultiPL-Eコード生成ベンチマークと6言語にまたがる多言語音声認識タスクにおいて,FLoRAがLoRAの性能上の利点を保っていることを実証的に示す。

関連論文リスト

• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。 このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models [10.179598253424103]
  大規模言語モデル(LLM)は様々なタスクで堅牢なパフォーマンスを実現していますが、これらのモデルを特定のドメイン向けに微調整することはリソース集約的です。 5Mパラメータしか持たないミニMLPモジュールを提案し、トップpサンプリング戦略を用いて文レベルで複数のLoRAを動的に融合する。 このアプローチは、並列計算を利用することで、単一のLoRA推論の2倍未満まで推論時間を短縮する。
  論文  参考訳（メタデータ） (2024-10-02T12:45:52Z)
• BoRA: Bayesian Hierarchical Low-Rank Adaption for Multi-task Large Language Models [0.0]
  本稿では,マルチタスク大言語モデル(LLM)を微調整する新しい手法であるベイジアン階層型低ランク適応(BoRA)を紹介する。 BoRAは、グローバルな階層的事前を通じてタスクが情報を共有できるベイズ階層モデルを活用することでトレードオフに対処する。 実験の結果,BoRAは個々のモデルアプローチと統一モデルアプローチの両方に優れており,より難易度が低く,タスク間の一般化性が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-07-08T06:38:50Z)
• ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation [4.07532985236519]
  本研究では,共有低ランク適応(ShareLoRA)を実装することにより,事前学習言語モデル(PLM)に対するPEFT(Efficient Fine Tuning)の最適化手法を提案する。 異なるレイヤにShareLoRAを戦略的にデプロイし、それを自己アテンションレイヤのクエリ、キー、バリューコンポーネントに適用することにより、トレーニングパラメータの数とメモリ使用量を大幅に削減します。 この結果から、ShareLoRAはパラメータ効率を効果的に向上し、異なる言語モデルアーキテクチャにおけるスケーラブルで高品質な性能を確保します。
  論文  参考訳（メタデータ） (2024-06-16T02:52:28Z)
• MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models [4.978361907192563]
  MeteoRAはスケーラブルで効率的なフレームワークで、複数のタスク固有のLoRAアダプタをベースLLMに再利用する。 MeteoRAは複合タスクの処理において優れた性能を実現し、単一の推論パスで10のシーケンシャルな問題を効果的に解決する。
  論文  参考訳（メタデータ） (2024-05-19T20:46:07Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [54.65520214291653]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• VeRA: Vector-based Random Matrix Adaptation [29.99581464596137]
  本稿では,Vectorをベースとしたランダム行列適応(Random Matrix Adaptation, VeRA)を提案する。 GLUE と E2E ベンチマーク、画像分類タスクでの有効性を示し、7B と 13B の言語モデルの命令チューニングへの応用を示す。
  論文  参考訳（メタデータ） (2023-10-17T17:59:46Z)
• QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models [85.02796681773447]
  量子化対応低ランク適応(QA-LoRA)アルゴリズムを提案する。 その動機は量子化と適応の自由の不均衡度にある。 QA-LoRAは数行のコードで簡単に実装できる。
  論文  参考訳（メタデータ） (2023-09-26T07:22:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。