論文の概要: FLoRA: Fused forward-backward adapters for parameter efficient fine-tuning and reducing inference-time latencies of LLMs

• arxiv url: http://arxiv.org/abs/2511.00050v1
• Date: Tue, 28 Oct 2025 12:45:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.542443
• Title: FLoRA: Fused forward-backward adapters for parameter efficient fine-tuning and reducing inference-time latencies of LLMs
• Title（参考訳）: FLoRA:LLMのパラメータ最適化と推論時間遅延低減のための融合フォワードバックワードアダプタ
• Authors: Dhananjaya Gowda, Seoha Song, Junhyun Lee, Harshith Goka,
• Abstract要約: 本稿では,大規模言語モデル (LLM) を下流タスクでパラメータ効率の良い微調整を行うために,FFBA (Fused forward-backward Adapter) のファミリを提案する。 実験結果から,提案するFFBアダプタの精度とレイテンシの両面で,一般的なLoRAよりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 7.771813594229729
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the large language models (LLMs) grow in size each day, efficient training and fine-tuning has never been as important as nowadays. This resulted in the great interest in parameter efficient fine-tuning (PEFT), and effective methods including low-rank adapters (LoRA) has emerged. Although the various PEFT methods have been studied extensively in the recent years, the greater part of the subject remains unexplored with the huge degree of freedom. In this paper, we propose FLoRA, a family of fused forward-backward adapters (FFBA) for parameter-efficient fine-tuning of LLMs on downstream tasks. The FFBA combine ideas from the popular LoRA and parallel adapters to improve the overall fine-tuning accuracies. At the same time, latencies are minimized by fusing the forward and backward adapters into existing projection layers of the base model. Experimental results show that the proposed FFB adapters perform significantly better than the popularly used LoRA in both accuracy and latency for a similar parameter budget.
• Abstract（参考訳）: 大規模言語モデル(LLM)は日に日にサイズが大きくなるにつれて、効率的なトレーニングや微調整が現在ほど重要になってはいない。 その結果、パラメータ効率の良い微調整(PEFT)に大きな関心が寄せられ、ローランクアダプタ(LoRA)を含む効果的な手法が出現した。 近年,様々なPEFT法が広く研究されているが,研究対象の大部分は未発見のままである。 本稿では,FLoRAを提案する。FLoRAは,下流タスクにおけるLLMのパラメータ効率の高い微調整を行うための,FFBA(Fused forward-backward Adapter)のファミリである。 FFBAは、一般的なLoRAとパラレルアダプタのアイデアを組み合わせて、全体的な微調整精度を改善する。 同時に、ベースモデルの既存のプロジェクション層に前方アダプタと後方アダプタを融合させることにより、レイテンシを最小化する。 実験結果から,提案するFFBアダプタは,類似パラメータ予算の精度とレイテンシの両方において,一般的なLoRAよりも優れた性能を示した。

関連論文リスト

• DeLoRA: Decoupling Angles and Strength in Low-rank Adaptation [44.99833362998488]
  Decoupled Low-rank Adaptation (DeLoRA)は学習可能な低ランク行列を正規化しスケールする新しい微調整法である。 DeLoRAは競合するPEFT法の性能に適合し,強靭性を示す。
  論文  参考訳（メタデータ） (2025-03-23T22:00:56Z)
• EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
  Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-01-21T11:42:09Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations [39.88985198467528]
  ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。 我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
  論文  参考訳（メタデータ） (2024-09-09T18:21:23Z)
• LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
  Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
  論文  参考訳（メタデータ） (2024-08-13T12:31:30Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。