Fugu-MT 論文翻訳(概要): Batched Low-Rank Adaptation of Foundation Models

論文の概要: Batched Low-Rank Adaptation of Foundation Models

arxiv url: http://arxiv.org/abs/2312.05677v1
Date: Sat, 9 Dec 2023 20:51:48 GMT
ステータス: 処理完了
システム内更新日: 2023-12-12 19:24:43.075396
Title: Batched Low-Rank Adaptation of Foundation Models
Title（参考訳）: 基礎モデルのバッチ低ランク適応
Authors: Yeming Wen, Swarat Chaudhuri
Abstract要約: ローランド適応 (LoRA) は, トレーニング可能な低ランク行列を組み込んだファウンデーションモデルに注目されている。我々はFast LoRA(FloRA)という,ミニバッチにおける各入力例を,そのユニークな低ランク適応重みに関連付けることのできるフレームワークを紹介した。我々は,FLoRAがLoRAの性能特性を保っていることを実証的に証明し,8言語にまたがるMultipleコード生成ベンチマークと6言語にまたがる多言語音声認識タスクにおいて,競合する結果を示す。
参考スコア（独自算出の注目度）: 16.583832279294793
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-Rank Adaptation (LoRA) has recently gained attention for fine-tuning foundation models by incorporating trainable low-rank matrices, thereby reducing the number of trainable parameters. While LoRA offers numerous advantages, its applicability for real-time serving to a diverse and global user base is constrained by its incapability to handle multiple task-specific adapters efficiently. This imposes a performance bottleneck in scenarios requiring personalized, task-specific adaptations for each incoming request. To mitigate this constraint, we introduce Fast LoRA (FLoRA), a framework in which each input example in a minibatch can be associated with its unique low-rank adaptation weights, allowing for efficient batching of heterogeneous requests. We empirically demonstrate that FLoRA retains the performance merits of LoRA, showcasing competitive results on the MultiPL-E code generation benchmark spanning over 8 languages and a multilingual speech recognition task across 6 languages.
Abstract（参考訳）: ローランク適応(LoRA)は, トレーニング可能な低ランク行列を組み込むことにより, 微調整基礎モデルに注目されている。 LoRAには多くの利点があるが、多様なグローバルユーザベースへのリアルタイムサービスの適用性は、複数のタスク固有のアダプタを効率的に扱うことができないことによる制約がある。これにより、受信するリクエストごとにパーソナライズされたタスク固有の適応を必要とするシナリオのパフォーマンスボトルネックが課される。この制約を緩和するために、ミニバッチ内の各入力サンプルに独自の低ランク適応重みを関連付けることができるフレームワークであるfast lora(flora)を導入し、異種リクエストの効率的なバッチ化を可能にした。 8言語にまたがるMultiPL-Eコード生成ベンチマークと6言語にまたがる多言語音声認識タスクにおいて,FLoRAがLoRAの性能上の利点を保っていることを実証的に示す。

関連論文リスト

RandLoRA: Full-rank parameter-efficient fine-tuning of large models [46.25124374446935]
Low-Rank Adaptation (LoRA)とその変種は、大きなトランスフォーマーネットワークのトレーニング可能なパラメータとメモリ要求の数を削減した。しかし、ウェイト更新の低ランクな性質は、本質的に微調整されたモデルの表現力を制限している。本稿では、低ランクで非学習可能なランダム行列の線形結合を用いて、フルランク更新を行うRandLoRAを提案する。
論文参考訳（メタデータ） (2025-02-03T01:59:45Z)
In-Context Meta LoRA Generation [61.690065588534296]
Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
論文参考訳（メタデータ） (2025-01-29T13:12:01Z)
Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文参考訳（メタデータ） (2024-12-03T07:25:30Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
論文参考訳（メタデータ） (2024-10-12T08:32:26Z)
DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models [10.179598253424103]
大規模言語モデル(LLM)は様々なタスクで堅牢なパフォーマンスを実現していますが、これらのモデルを特定のドメイン向けに微調整することはリソース集約的です。 5Mパラメータしか持たないミニMLPモジュールを提案し、トップpサンプリング戦略を用いて文レベルで複数のLoRAを動的に融合する。このアプローチは、並列計算を利用することで、単一のLoRA推論の2倍未満まで推論時間を短縮する。
論文参考訳（メタデータ） (2024-10-02T12:45:52Z)
ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation [4.07532985236519]
本研究では,共有低ランク適応(ShareLoRA)を実装することにより,事前学習言語モデル(PLM)に対するPEFT(Efficient Fine Tuning)の最適化手法を提案する。異なるレイヤにShareLoRAを戦略的にデプロイし、それを自己アテンションレイヤのクエリ、キー、バリューコンポーネントに適用することにより、トレーニングパラメータの数とメモリ使用量を大幅に削減します。この結果から、ShareLoRAはパラメータ効率を効果的に向上し、異なる言語モデルアーキテクチャにおけるスケーラブルで高品質な性能を確保します。
論文参考訳（メタデータ） (2024-06-16T02:52:28Z)
MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models [4.978361907192563]
MeteoRAはスケーラブルで効率的なフレームワークで、複数のタスク固有のLoRAアダプタをベースLLMに再利用する。 MeteoRAは複合タスクの処理において優れた性能を実現し、単一の推論パスで10のシーケンシャルな問題を効果的に解決する。
論文参考訳（メタデータ） (2024-05-19T20:46:07Z)
MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文参考訳（メタデータ） (2024-02-27T07:14:12Z)
Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文参考訳（メタデータ） (2024-02-24T20:15:31Z)
VeRA: Vector-based Random Matrix Adaptation [29.99581464596137]
本稿では,Vectorをベースとしたランダム行列適応(Random Matrix Adaptation, VeRA)を提案する。 GLUE と E2E ベンチマーク、画像分類タスクでの有効性を示し、7B と 13B の言語モデルの命令チューニングへの応用を示す。
論文参考訳（メタデータ） (2023-10-17T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。