論文の概要: Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2506.00236v1
• Date: Fri, 30 May 2025 21:13:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.516454
• Title: Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
• Title（参考訳）: 局所LoRA:効率的な微調整のための構造的低ランク近似
• Authors: Babak Barazandeh,
• Abstract要約: 局所化LoRAは、重み行列の構造ブロックに適用された低ランク近似の合成として重み更新をモデル化するフレームワークである。 提案手法は,一致したパラメータの予算下での低い近似誤差を連続的に達成することを示す。
• 参考スコア（独自算出の注目度）: 2.0652244993845086
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods, such as LoRA, offer compact and effective alternatives to full model fine-tuning by introducing low-rank updates to pretrained weights. However, most existing approaches rely on global low-rank structures, which can overlook spatial patterns spread across the parameter space. In this work, we propose Localized LoRA, a generalized framework that models weight updates as a composition of low-rank matrices applied to structured blocks of the weight matrix. This formulation enables dense, localized updates throughout the parameter space-without increasing the total number of trainable parameters. We provide a formal comparison between global, diagonal-local, and fully localized low-rank approximations, and show that our method consistently achieves lower approximation error under matched parameter budgets. Experiments on both synthetic and practical settings demonstrate that Localized LoRA offers a more expressive and adaptable alternative to existing methods, enabling efficient fine-tuning with improved performance.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい微細チューニング(PEFT)手法は、事前訓練された重量に低ランクの更新を導入することで、フルモデルファインチューニングのコンパクトで効果的な代替手段を提供する。 しかし、既存のほとんどのアプローチはグローバルな低ランク構造に依存しており、パラメータ空間に広がる空間パターンを見渡すことができる。 本研究では、重み行列の構造ブロックに適用した低ランク行列の合成として、重み更新をモデル化する一般化されたフレームワークであるLocalized LoRAを提案する。 この定式化により、トレーニング可能なパラメータの総数を増やすことなく、パラメータ空間全体の密集した局所的な更新が可能になる。 本研究では,大域的,対角的,全局所的な低ランク近似の形式的比較を行い,一致したパラメータ予算下での近似誤差を一定に抑えることを示す。 合成および実用両方の環境での実験により、LoRAは既存の方法よりも表現力が高く適応性の高い代替手段を提供し、性能改善による効率的な微調整を可能にした。

関連論文リスト

• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。