Fugu-MT 論文翻訳(概要): LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning

論文の概要: LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning

arxiv url: http://arxiv.org/abs/2503.00572v1
Date: Sat, 01 Mar 2025 17:42:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 19:25:21.611624
Title: LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning
Title（参考訳）: LoR2C : パラメータ効率の良いファインチューニングのための低ランク残差接続適応
Authors: Jiancheng Zhao, Xingda Yu, Yuxiang Zhang, Zhen Yang,
Abstract要約: 本稿では,LoR2Cと呼ばれるパラメータ効率の高いファインチューニング手法を提案する。 LoR2Cはモデル層内の低ランク行列との残差接続を導入している。複数の自然言語理解および自然言語生成タスクの実験結果は、LoR2Cとその最適化された変種がパラメータのオーバーヘッドを著しく減少させることを示す。
参考スコア（独自算出の注目度）: 6.5384187503681375
License:
Abstract: In recent years, pretrained large language models have demonstrated outstanding performance across various natural language processing tasks. However, full-parameter fine-tuning methods require adjusting all model parameters, leading to immense computational resource demands. Although parameter-efficient fine-tuning methods like LoRA have significantly reduced the number of parameters, they still face challenges such as gradient vanishing and the potential for further parameter reduction. To address these issues, this paper proposes a novel parameter-efficient fine-tuning method called LoR2C (Low-Rank Residual Connection Adaptation). LoR2C introduces residual connections with low-rank matrices within the model layers, which not only reduces the number of fine-tuning parameters but also effectively alleviates the gradient vanishing problem. Additionally, this paper presents three optimization variants of LoR2C: ShareLoR2C, MergeLoR2C, and InjectLoR2C. These variants further improve parameter efficiency and model performance through parameter sharing, module merging, and injection mechanisms, respectively. Experimental results on multiple natural language understanding and natural language generation tasks demonstrate that LoR2C and its optimized variants significantly reduce parameter overhead while maintaining or even improving performance, outperforming existing mainstream parameter-efficient fine-tuning methods.Our code is publicly available at https://github.com/Oblivioniss/LoR2C.
Abstract（参考訳）: 近年,様々な自然言語処理タスクにおいて,事前訓練された大規模言語モデルの性能が向上している。しかし、フルパラメータの微調整法は全てのモデルパラメータを調整する必要があるため、膨大な計算資源が要求される。 LoRAのようなパラメータ効率のよい微調整手法はパラメータの数を著しく削減しているが、勾配の消失やパラメータのさらなる削減の可能性といった課題に直面している。そこで本研究では,LoR2C (Low-Rank Residual Connection Adaptation) と呼ばれるパラメータ効率の高いファインチューニング手法を提案する。 LoR2Cはモデル層内の低ランク行列との残差接続を導入し、微調整パラメータの数を減少させるだけでなく、勾配解消問題を効果的に緩和する。さらに,LoR2Cの最適化版であるShareLoR2C, MergeLoR2C, InjectLoR2Cを提案する。これらの変種はパラメータ共有、モジュールマージ、インジェクション機構を通じてパラメータ効率とモデル性能をさらに向上させる。複数の自然言語理解と自然言語生成タスクの実験結果から、LoR2Cとその最適化された変種は、パフォーマンスを維持したり改善したりしながら、パラメータのオーバーヘッドを著しく減らし、既存の主流パラメータ効率の高い微調整方法よりも優れています。

関連論文リスト

Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
論文参考訳（メタデータ） (2025-02-01T04:18:28Z)
OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。しばしば最適化の課題を提起するが、収束性は低い。推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
論文参考訳（メタデータ） (2024-12-13T18:55:19Z)
LoRA-Mini : Adaptation Matrices Decomposition and Selective Training [2.0670689746336]
Low-Rank Adaptation (LoRA)は、トレーニング可能なパラメータの数を減らし、パラメータ効率の良い微調整を可能にする、有望なソリューションとして登場した。低ランク行列を4つに分割することでパラメータ効率を向上させるLoRAを最適化したLoRA-Miniを提案する。このアプローチは、標準のLoRAに匹敵するパフォーマンスレベルを維持しながら、トレーニング可能なパラメータの数に対して、標準のLoRAと比較して最大20倍の削減を実現している。
論文参考訳（メタデータ） (2024-11-24T12:21:14Z)
SparseGrad: A Selective Method for Efficient Fine-tuning of MLP Layers [88.68985153780514]
本稿では,パラメータブロックでよく動作する選択型PEFT法,すなわちSparseGradを提案する。 SparseGrad を NLU タスクに BERT と RoBERTa を,質問応答タスクに LLaMa-2 を適用した。
論文参考訳（メタデータ） (2024-10-09T19:03:52Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
論文参考訳（メタデータ） (2024-09-22T11:24:10Z)
Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning [38.80020737321214]
構造化非制限ランク行列(SURM)に基づく効率的なパラメータ微調整(PEFT)のためのフレームワークを提案する。 SURMは、LoRAの低ランク行列を置換しながら、様々な画像分類タスクにおいて5-7%の精度向上を実現している。また、GLUEベンチマークでは、アダプタのパラメータ数を最大12倍に削減する(ほぼ品質が低下する)。
論文参考訳（メタデータ） (2024-06-25T17:26:05Z)
LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models [7.926974917872204]
LoRA-SPはランダム化半選択パラメータ凍結を利用した新しい手法である。 LoRA-SPは、モデル性能を損なうことなく、計算とメモリの要求を大幅に削減する。
論文参考訳（メタデータ） (2024-02-28T06:50:10Z)
IncreLoRA: Incremental Parameter Allocation Method for Parameter-Efficient Fine-tuning [15.964205804768163]
IncreLoRAは、トレーニング中にトレーニング可能なパラメータを適応的に追加するインクリメンタルパラメータ割り当て手法である。我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
論文参考訳（メタデータ） (2023-08-23T10:08:10Z)
AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。