論文の概要: BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2410.09758v1
• Date: Sun, 13 Oct 2024 07:28:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 05:02:48.436332
• Title: BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
• Title（参考訳）: BiDoRA: Bi-level Optimization-based Weight-Decomposed Low-Rank Adaptation
• Authors: Peijia Qin, Ruiyi Zhang, Pengtao Xie,
• Abstract要約: DoRAはローランク適応(LoRA)とフル微調整(FT)のギャップを橋渡しする 両レベル最適化に基づくPEFT法であるBiDoRAを提案する。
• 参考スコア（独自算出の注目度）: 34.1111413429869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) of large language models (LLMs) has gained considerable attention as a flexible and efficient way of adapting LLMs to downstream tasks. Among these methods, weighted decomposed low-rank adaptation (DoRA) has emerged as a promising approach. DoRA bridges the gap between low-rank adaptation (LoRA) and full fine-tuning (FT) by decomposing the weight matrices into magnitude and direction components, thereby maintaining learning behavior similar to FT. Although DoRA shows encouraging performance, it introduces additional parameters compared to LoRA, which potentially increases the risk of overfitting. Moreover, optimizing magnitude and direction simultaneously leads to a coupled gradient updating pattern for both components, limiting its learning capacity. To overcome these limitations, we propose BiDoRA, a bi-level optimization-based PEFT method. In BiDoRA, the direction and magnitude components are optimized on two distinct datasets at different optimization levels, mitigating the risk of overfitting. Additionally, the asynchronous optimization of the two components promotes their decoupling, allowing for more flexible gradient updates suitable for various downstream tasks. Evaluation of BiDoRA on fourteen datasets spanning natural language understanding, natural language generation, and token classification reveals that it significantly outperforms DoRA and other PEFT methods. The superior performance of BiDoRA underscores its effectiveness. The code for BiDoRA is available at https://anonymous.4open.science/r/BiDoRA-5D31.
• Abstract（参考訳）: 大規模言語モデル(LLM)のパラメータ効率の良い微調整(PEFT)は、下流タスクにLLMを適応するための柔軟で効率的な方法として注目されている。 これらの手法のうち、重み付き分解低ランク適応(DoRA)が有望なアプローチとして現れている。 DoRAは、重量行列を大きさと方向成分に分解することで、ローランク適応(LoRA)とフル微調整(FT)のギャップを埋め、FTに似た学習行動を維持する。 DoRAはパフォーマンスを奨励するが、LoRAと比較して追加のパラメータを導入し、オーバーフィッティングのリスクを増大させる可能性がある。 さらに、最大度と方向を同時に最適化することで、両方のコンポーネントのグラデーション更新パターンが結合され、学習能力が制限される。 これらの制限を克服するために,二段階最適化に基づくPEFT法であるBiDoRAを提案する。 BiDoRAでは、方向と大きさのコンポーネントは異なる最適化レベルの2つの異なるデータセットに最適化され、オーバーフィッティングのリスクが軽減される。 さらに、2つのコンポーネントの非同期最適化はデカップリングを促進し、様々な下流タスクに適したより柔軟な勾配更新を可能にする。 自然言語理解、自然言語生成、トークン分類を含む14のデータセット上でのBiDoRAの評価は、DoRAと他のPEFT法を著しく上回ることを示す。 BiDoRAの優れた性能は、その効果を裏付けている。 BiDoRAのコードはhttps://anonymous.4open.science/r/BiDoRA-5D31で公開されている。

関連論文リスト

• LoRA-GGPO: Mitigating Double Descent in LoRA Fine-Tuning via Gradient-Guided Perturbation Optimization [12.504723188498]
  大規模言語モデル(LLM)は自然言語処理において顕著な成功を収めた。 Low-Rank Adaptation (LoRA)は、パラメータ更新を低ランク行列で近似することで、実用的なソリューションとして登場した。 LoRA-GGPOは、勾配とウェイトノルムを利用して標的摂動を生成する新しい手法である。
  論文  参考訳（メタデータ） (2025-02-20T13:14:41Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• DiffoRA: Enabling Parameter-Efficient LLM Fine-Tuning via Differential Low-Rank Matrix Adaptation [32.369133126167085]
  そこで我々は,理論上基礎を成し,モジュールワイドなLoRAを実現する,DiffoRAと呼ばれる新しいPEFT方式を提案する。 DiffoRAの中核には微分適応行列(DAM)があり、どのモジュールが最も適しており、微調整に不可欠かを決定する。 提案手法は,様々なベンチマークにおいて,最先端のベースラインに対して最高のモデル精度を実現する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
  Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。 一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。 GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
  論文  参考訳（メタデータ） (2023-06-13T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。