論文の概要: AILoRA: Function-Aware Asymmetric Initialization for Low-Rank Adaptation of Large Language Models
- arxiv url: http://arxiv.org/abs/2510.08034v1
- Date: Thu, 09 Oct 2025 10:13:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:15.004597
- Title: AILoRA: Function-Aware Asymmetric Initialization for Low-Rank Adaptation of Large Language Models
- Title（参考訳）: AILoRA:大言語モデルの低ランク適応のための関数対応非対称初期化
- Authors: Xiaoshuang Ji, Zhendong Zhao, Xiaoyan Gu, Xiaojun Chen, Xin Zhao, Zeyao Liu,
- Abstract要約: Low-Rank Adaptation (LoRA)は最も広く採用されているアプローチの1つだ。
LoRAは通常、自己アテンションモジュールの$WQ$と$WV$プロジェクション行列に適用される。
関数認識型非対称な低ランクプリエントを組み込んだ新しいパラメータ効率手法であるtextAILoRA を導入する。
- 参考スコア（独自算出の注目度）: 11.663809872664105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter-efficient finetuning (PEFT) aims to mitigate the substantial computational and memory overhead involved in adapting large-scale pretrained models to diverse downstream tasks. Among numerous PEFT strategies, Low-Rank Adaptation (LoRA) has emerged as one of the most widely adopted approaches due to its robust empirical performance and low implementation complexity. In practical deployment, LoRA is typically applied to the $W^Q$ and $W^V$ projection matrices of self-attention modules, enabling an effective trade-off between model performance and parameter efficiency. While LoRA has achieved considerable empirical success, it still encounters challenges such as suboptimal performance and slow convergence. To address these limitations, we introduce \textbf{AILoRA}, a novel parameter-efficient method that incorporates function-aware asymmetric low-rank priors. Our empirical analysis reveals that the projection matrices $W^Q$ and $W^V$ in the self-attention mechanism exhibit distinct parameter characteristics, stemming from their functional differences. Specifically, $W^Q$ captures task-specific semantic space knowledge essential for attention distributions computation, making its parameters highly sensitive to downstream task variations. In contrast, $W^V$ encodes token-level feature representations that tend to remain stable across tasks and layers. Leveraging these insights, AILoRA performs a function-aware initialization by injecting the principal components of $W^Q$ to retain task-adaptive capacity, and the minor components of $W^V$ to preserve generalizable feature representations. This asymmetric initialization strategy enables LoRA modules to better capture the specialized roles of attention parameters, thereby enhancing both finetuning performance and convergence efficiency.
- Abstract（参考訳）: パラメータ効率の微調整(PEFT)は、様々な下流タスクに大規模な事前訓練されたモデルを適用することに伴う、計算とメモリのオーバーヘッドを大幅に軽減することを目的としている。
多くのPEFT戦略の中で、ローランド適応(LoRA)は、堅牢な経験的性能と実装の複雑さのために最も広く採用されているアプローチの1つである。
実用的展開において、LoRAは通常、自己アテンションモジュールの$W^Q$および$W^V$プロジェクション行列に適用され、モデル性能とパラメータ効率の効果的なトレードオフを可能にする。
LoRAは経験的な成功をおさめたが、それでも性能の最適化や収束の遅さといった課題に直面している。
これらの制約に対処するために,関数対応の非対称な低ランク前処理を組み込んだパラメータ効率の高い新しい手法である \textbf{AILoRA} を導入する。
実験により, 投射行列が, 自己保持機構における$W^Q$と$W^V$は, 機能的差異から異なるパラメータ特性を示すことが明らかとなった。
具体的には、$W^Q$は、注意分布計算に必要なタスク固有の意味空間知識をキャプチャし、そのパラメータを下流のタスクのバリエーションに非常に敏感にする。
対照的に$W^V$は、タスクやレイヤ間で安定している傾向にあるトークンレベルの特徴表現をエンコードする。
これらの知見を活用して、AILoRAは、タスク適応能力を維持するために$W^Q$の主コンポーネントと、一般化可能な特徴表現を保持するために$W^V$のマイナーコンポーネントを注入することで、関数認識初期化を実行する。
この非対称初期化戦略により、LoRAモジュールは注目パラメータの特別な役割をよりよく捉え、微調整性能と収束効率の両方を向上させることができる。
関連論文リスト
- High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文 参考訳（メタデータ） (2026-01-12T13:06:17Z) - Lighter-X: An Efficient and Plug-and-play Strategy for Graph-based Recommendation through Decoupled Propagation [49.865020394064096]
我々は,既存のGNNベースのレコメンデータアーキテクチャとシームレスに統合可能な,効率的かつモジュール化されたフレームワークである textbfLighter-X を提案する。
提案手法は,基本モデルの理論的保証と経験的性能を保ちながら,パラメータサイズと計算複雑性を大幅に低減する。
実験の結果、Lighter-Xはパラメータが大幅に少ないベースラインモデルに匹敵するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-10-11T08:33:08Z) - MASA: Rethinking the Representational Bottleneck in LoRA with Multi-A Shared Adaptation [28.079735905482096]
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
Low-Rank Adaptation (LoRA) が主流となっている。
論文 参考訳（メタデータ） (2025-10-07T15:06:46Z) - Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。
ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
論文 参考訳（メタデータ） (2025-06-05T20:28:02Z) - GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。
Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。
隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文 参考訳（メタデータ） (2024-12-12T13:04:54Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。
解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
論文 参考訳（メタデータ） (2024-08-26T17:58:53Z) - DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution [28.589498108609202]
Low-Rank Adaptation (LoRA) は、ウェイト行列の差分パラメータ予算要件を無視したバイパスフレームワークに依存している。
DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。
実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
論文 参考訳（メタデータ） (2024-05-27T17:02:27Z) - Asymmetry in Low-Rank Adapters of Foundation Models [47.310550805920585]
本稿では、低ランクアダプタ行列の重要性において、予期せぬ非対称性を特徴付け、活用する。
我々は、細調整の$B$が、細調整の$A$よりも本質的に効果的であることを示し、ランダムな未トレーニングの$A$は、細調整の$A$よりもほぼ同等に機能することを示します。
論文 参考訳（メタデータ） (2024-02-26T18:59:12Z) - AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。
重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。
我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-03-18T22:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。