論文の概要: BoRA: Bi-dimensional Weight-Decomposed Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2412.06441v1
• Date: Mon, 09 Dec 2024 12:35:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:45.713896
• Title: BoRA: Bi-dimensional Weight-Decomposed Low-Rank Adaptation
• Title（参考訳）: BoRA: 2次元重量分解低ランク適応
• Authors: Qiushi Wang, Yuchen Fan, Junwei Bao, Hongfei Jiang, Yang Song,
• Abstract要約: Low-Rank Adaptation (LoRA) は大規模事前学習モデルの適応性を著しく向上させた。 重量分解低ランク適応(DoRA)は、重量行列の大きさと方向成分を分離することにより、LoRA上で改善する。 BoRAは水平次元と垂直次元の対称特性によって特徴づけられる。
• 参考スコア（独自算出の注目度）: 13.246021371295594
• License:
• Abstract: In recent years, Parameter-Efficient Fine-Tuning (PEFT) methods like Low-Rank Adaptation (LoRA) have significantly enhanced the adaptability of large-scale pre-trained models. Weight-Decomposed Low-Rank Adaptation (DoRA) improves upon LoRA by separating the magnitude and direction components of the weight matrix, leading to superior performance. However, DoRA's improvements are limited to the vertical dimension, resulting in an asymmetrical pattern between horizontal and vertical dimensions. This paper introduces BoRA, an innovative extension of LoRA and DoRA, characterized by symmetrical properties across horizontal and vertical dimensions. Our approach optimizes the weight matrix symmetrically by adjusting both column-wise and row-wise magnitudes. Extensive experiments demonstrate that BoRA surpasses state-of-the-art PEFT methods, including LoRA and DoRA, achieving superior results across various benchmarks.
• Abstract（参考訳）: 近年,Low-Rank Adaptation (LoRA) のようなパラメータ効率の良いファインチューニング (PEFT) 手法は,大規模事前学習モデルの適応性を著しく向上させている。 重量分解低ランク適応(DoRA)は、重み行列の大きさと方向成分を分離することによりLoRA上で改善され、性能が向上する。 しかし、DoRAの改良は垂直次元に限られており、その結果、水平次元と垂直次元の間の非対称パターンが生じる。 本稿では,水平次元と垂直次元の対称特性を特徴とする,LoRAとDoRAの革新的拡張であるBoRAを紹介する。 提案手法は,カラムワイドと行ワイドの両等級を調整することにより,重み行列を対称的に最適化する。 大規模な実験により、BoRAはLoRAやDoRAを含む最先端のPEFT手法を超越し、様々なベンチマークで優れた結果が得られた。

関連論文リスト

• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation [34.1111413429869]
  DoRAはローランク適応(LoRA)とフル微調整(FT)のギャップを橋渡しする 両レベル最適化に基づくPEFT法であるBiDoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-13T07:28:26Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• NoRA: Nested Low-Rank Adaptation for Efficient Fine-Tuning Large Models [27.757883818520217]
  Nested Low-Rank Adaptation (NoRA) はパラメータ効率の良い微調整のための新しいアプローチである。 外部のLoRA重みを凍結し、内部のLoRA設計を使用することで、NORAはコンパクトなパラメータ空間で正確なタスク適応を可能にする。
  論文  参考訳（メタデータ） (2024-08-18T12:18:56Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• RoLoRA: Fine-tuning Rotated Outlier-free LLMs for Effective Weight-Activation Quantization [38.23587031169402]
  有効重量活性化量子化のための最初のLoRA方式であるRoLoRAを提案する。 我々は,LLaMA2-7B/13B,LLaMA3-8Bモデルにおけるロロラの評価を行い,最大29.5%の精度で4ビットの重量活性化量子化LLaMA2-13Bを実現した。
  論文  参考訳（メタデータ） (2024-07-10T20:52:18Z)
• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。