論文の概要: BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2410.09758v2
• Date: Sun, 03 Aug 2025 15:52:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.591957
• Title: BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
• Title（参考訳）: BiDoRA: Bi-level Optimization-based Weight-Decomposed Low-Rank Adaptation
• Authors: Peijia Qin, Ruiyi Zhang, Pengtao Xie,
• Abstract要約: 本稿では,Bi-level Optimization-based Weight-Decomposed Low-Rank Adaptation (BiDoRA)を提案する。 BiDoRAは、2つの異なる非同期ループで大きさと方向を最適化することで、DoRAと根本的に異なる。 一貫してDoRAを上回り、様々な先進的なPEFT法を上回ります。
• 参考スコア（独自算出の注目度）: 34.1111413429869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) is a flexible and efficient method for adapting large language models (LLMs) to downstream tasks. Among these methods, weight-decomposed low-rank adaptation (DoRA) is a promising approach that decomposes weight matrices into magnitude and direction components to mimic full fine-tuning (FT) better. However, DoRA's simultaneous optimization of these components makes it over-expressive, increases the risk of overfitting, and creates a coupled updating pattern that limits its learning capacity. To address these issues, we propose Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation (BiDoRA), a novel PEFT method based on a bi-level optimization framework. BiDoRA fundamentally differs from DoRA by optimizing the magnitude and direction in two separate, asynchronous loops using distinct training and validation data splits. This decoupled optimization process effectively mitigates overfitting and allows for more flexible updates that align even more closely with FT. For instance, weight decomposition analysis shows BiDoRA achieves a magnitude-direction update correlation of $-8.042$, significantly closer to the FT ideal compared to $-1.784$ for DoRA. Evaluation of BiDoRA on diverse tasks spanning natural language understanding, generation, token classification, and extremely small biomedical datasets reveals that it consistently outperforms DoRA and a wide range of leading PEFT methods. This improvement is statistically significant, as demonstrated on the GLUE benchmark where BiDoRA surpasses DoRA with a p-value of $2.4\times10^{-4}$ in terms of the Wilcoxon signed-rank test. The code for BiDoRA is available at https://github.com/t2ance/BiDoRA.
• Abstract（参考訳）: パラメータ効率細調整(PEFT)は、大規模言語モデル(LLM)を下流タスクに適用するための柔軟で効率的な手法である。 これらの方法のうち、重量分解低ランク適応(DoRA)は、重量行列を大きさと方向成分に分解し、完全な微調整(FT)をより良く模倣する有望なアプローチである。 しかし、DoRAはこれらのコンポーネントを同時に最適化することで過度に表現し、オーバーフィッティングのリスクを高め、学習能力を制限した同時更新パターンを生成する。 これらの問題に対処するため,両レベル最適化フレームワークに基づく新しいPEFT手法であるBiDoRAを提案する。 BiDoRAは、異なるトレーニングと検証データ分割を使用して、2つの異なる非同期ループで大きさと方向を最適化することで、DoRAと根本的に異なる。 この分離された最適化プロセスは、オーバーフィッティングを効果的に軽減し、よりフレキシブルな更新を可能にします。 例えば、重量分解分析では、BiDoRAは最大で8.042ドルと、DoRAの1.784ドルに比べてFTイデアルにかなり近い。 BiDoRAの評価は、自然言語理解、生成、トークン分類、および極めて小さなバイオメディカルデータセットにまたがる多様なタスクにおいて、DoRAと幅広い先進PEFT法を一貫して上回ることを示す。 この改善は統計学的に有意であり、GLUEのベンチマークでは、BiDoRAはウィルコクソンの署名ランクテストで2.4\times10^{-4}$のp値でDoRAを上回っている。 BiDoRAのコードはhttps://github.com/t2ance/BiDoRAで入手できる。

関連論文リスト

• WeightLoRA: Keep Only Necessary Adapters [79.89637596855]
  低ランク適応(texttLoRA$)は、指定されたレイヤにトレーニング可能なアダプタを追加する。 我々は、最も重要な$textttLoRA$ヘッダの適応的な選択によってこの問題を克服する新しい方法である$textttWeightLoRA$を提案する。 我々は、一連の競合ベンチマークとDeBERTa、BART、Llamaモデルの実験を行い、我々の手法を異なる適応的アプローチと比較した。
  論文  参考訳（メタデータ） (2025-06-03T10:33:16Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [61.79405341803085]
  低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。 低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment [20.382810396966473]
  Low-Rank Adaptation (LoRA)は、Large Language Models (LLM) のためのパラメータ効率の良い微調整を可能にする 現在の手法は静的特異値分解サブセットを初期化することでLoRAを最適化し、事前学習された知識を最適に活用する。 我々はLunderlineoRunderlineA Mixture-of-Experunderlinet (GOAT)を提案する。 GOATはSVD構造化MoEを用いて関連する事前情報を統合し、理論スケーリング係数を導出して最適化を完全微調整MoEと整合させる
  論文  参考訳（メタデータ） (2025-02-24T06:48:13Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• DiffoRA: Enabling Parameter-Efficient LLM Fine-Tuning via Differential Low-Rank Matrix Adaptation [32.369133126167085]
  そこで我々は,理論上基礎を成し,モジュールワイドなLoRAを実現する,DiffoRAと呼ばれる新しいPEFT方式を提案する。 DiffoRAの中核には微分適応行列(DAM)があり、どのモジュールが最も適しており、微調整に不可欠かを決定する。 提案手法は,様々なベンチマークにおいて,最先端のベースラインに対して最高のモデル精度を実現する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
  本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。 本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-07T15:37:13Z)
• DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution [28.589498108609202]
  Low-Rank Adaptation (LoRA) は、ウェイト行列の差分パラメータ予算要件を無視したバイパスフレームワークに依存している。 DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。 実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-05-27T17:02:27Z)
• BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models [34.1111413429869]
  BiLoRA はバイレベル最適化 (BLO) に基づく過度に適合する微調整手法である 自然言語理解と生成タスクをカバーする10のデータセットでテストしました。
  論文  参考訳（メタデータ） (2024-03-19T14:11:20Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
  Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。 一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。 GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
  論文  参考訳（メタデータ） (2023-06-13T17:59:32Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。