論文の概要: Efficient Modular Learning through Naive LoRA Summation: Leveraging Orthogonality in High-Dimensional Models

• arxiv url: http://arxiv.org/abs/2508.11985v1
• Date: Sat, 16 Aug 2025 08:49:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.498523
• Title: Efficient Modular Learning through Naive LoRA Summation: Leveraging Orthogonality in High-Dimensional Models
• Title（参考訳）: Naive LoRAサミネーションによる効率的なモジュール型学習:高次元モデルにおけるオルソニティの活用
• Authors: Zhanhao Cao, Clement Truong, Andrew Lizarraga,
• Abstract要約: Low-Rank Adaptation (LoRA)はパラメータデルタを2つの小さな行列の積として保存する。 Naive summationは追加のトレーニングを必要とせず、数秒で適用でき、マージされたデータでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 1.0923877073891446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models are driven by scale, while parameter-efficient fine-tuning (PEFT) enables updating only a small fraction of parameters. Low-Rank Adaptation (LoRA) stores parameter deltas as the product of two small matrices, which makes them natural building blocks that can be composed. Motivated by the superposition principle, we hypothesize that independently trained LoRA modules on disjoint domains are approximately orthogonal and can be combined by simple addition. Using GPT-2 Small (117M) with LoRA rank 4 and alpha=64, we train adapters for three QA domains (math, medicine, finance). In pairwise tests, adding Math+Medicine adapters improves perplexity by -9.10% relative to merged-data fine-tuning, while Math+Finance and Finance+Medicine change by +4.54% and +27.56%, respectively. Across combinations, the RMS cosine similarity between LoRA deltas correlates positively and approximately linearly with the change in perplexity. Naive summation requires no additional training, can be applied in seconds, and achieves performance comparable to models trained on merged data, while clarifying when interference appears in higher-order compositions.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩はスケールによって駆動されるが、パラメータ効率の微調整(PEFT)は少数のパラメータしか更新できない。 Low-Rank Adaptation (LoRA) はパラメータデルタを2つの小さな行列の積として格納する。 重ね合わせの原理に動機づけられて、解域上の独立に訓練された LoRA 加群は、ほぼ直交し、単純な加法で結合できるという仮説を立てる。 GPT-2 Small (117M) を用いて, 3つのQAドメイン(男性, 医学, 財政)のアダプタをトレーニングした。 一方、Math+Finance と Finance+Medicine は +4.54% と +27.56% である。 組み合わせによって、ロラデルタ間のRMSコサインの類似性は、パープレキシティの変化と正の相関とほぼ線形に相関する。 Naive summationは追加のトレーニングを必要とせず、数秒で適用可能で、マージされたデータでトレーニングされたモデルに匹敵するパフォーマンスを実現します。

関連論文リスト

• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Balancing LoRA Performance and Efficiency with Simple Shard Sharing [8.827921242078883]
  textbfOptimal textbfShard textbfIntegration in textbfLoRAは、単純なシャード共有機構を通じて、このトレードオフに対処する新しいPEFTアプローチである。 Fossilsは、標準的なLoRAと、その顕著な変種を、モデルパフォーマンスメトリクスと計算効率の両方で大幅に上回っている。
  論文  参考訳（メタデータ） (2024-09-19T10:26:42Z)
• LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
  Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
  論文  参考訳（メタデータ） (2024-08-13T12:31:30Z)
• SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
  本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。 本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-07T15:37:13Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• NOLA: Compressing LoRA using Linear Combination of Random Basis [22.76088132446952]
  我々は、ロラに存在するランク1の下界を克服するNOLAを導入する。 NOLAは、ランク1のLoRAと比較してパラメータ数がはるかに少ないLoRAモデルと同様に、最高の圧縮LoRAをアーカイブできる。
  論文  参考訳（メタデータ） (2023-10-04T03:30:24Z)
• LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
  Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
  論文  参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。