論文の概要: AILoRA: Function-Aware Asymmetric Initialization for Low-Rank Adaptation of Large Language Models

• arxiv url: http://arxiv.org/abs/2510.08034v1
• Date: Thu, 09 Oct 2025 10:13:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.004597
• Title: AILoRA: Function-Aware Asymmetric Initialization for Low-Rank Adaptation of Large Language Models
• Title（参考訳）: AILoRA:大言語モデルの低ランク適応のための関数対応非対称初期化
• Authors: Xiaoshuang Ji, Zhendong Zhao, Xiaoyan Gu, Xiaojun Chen, Xin Zhao, Zeyao Liu,
• Abstract要約: Low-Rank Adaptation (LoRA)は最も広く採用されているアプローチの1つだ。 LoRAは通常、自己アテンションモジュールの$WQ$と$WV$プロジェクション行列に適用される。 関数認識型非対称な低ランクプリエントを組み込んだ新しいパラメータ効率手法であるtextAILoRA を導入する。
• 参考スコア（独自算出の注目度）: 11.663809872664105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient finetuning (PEFT) aims to mitigate the substantial computational and memory overhead involved in adapting large-scale pretrained models to diverse downstream tasks. Among numerous PEFT strategies, Low-Rank Adaptation (LoRA) has emerged as one of the most widely adopted approaches due to its robust empirical performance and low implementation complexity. In practical deployment, LoRA is typically applied to the $W^Q$ and $W^V$ projection matrices of self-attention modules, enabling an effective trade-off between model performance and parameter efficiency. While LoRA has achieved considerable empirical success, it still encounters challenges such as suboptimal performance and slow convergence. To address these limitations, we introduce \textbf{AILoRA}, a novel parameter-efficient method that incorporates function-aware asymmetric low-rank priors. Our empirical analysis reveals that the projection matrices $W^Q$ and $W^V$ in the self-attention mechanism exhibit distinct parameter characteristics, stemming from their functional differences. Specifically, $W^Q$ captures task-specific semantic space knowledge essential for attention distributions computation, making its parameters highly sensitive to downstream task variations. In contrast, $W^V$ encodes token-level feature representations that tend to remain stable across tasks and layers. Leveraging these insights, AILoRA performs a function-aware initialization by injecting the principal components of $W^Q$ to retain task-adaptive capacity, and the minor components of $W^V$ to preserve generalizable feature representations. This asymmetric initialization strategy enables LoRA modules to better capture the specialized roles of attention parameters, thereby enhancing both finetuning performance and convergence efficiency.
• Abstract（参考訳）: パラメータ効率の微調整(PEFT)は、様々な下流タスクに大規模な事前訓練されたモデルを適用することに伴う、計算とメモリのオーバーヘッドを大幅に軽減することを目的としている。 多くのPEFT戦略の中で、ローランド適応(LoRA)は、堅牢な経験的性能と実装の複雑さのために最も広く採用されているアプローチの1つである。 実用的展開において、LoRAは通常、自己アテンションモジュールの$W^Q$および$W^V$プロジェクション行列に適用され、モデル性能とパラメータ効率の効果的なトレードオフを可能にする。 LoRAは経験的な成功をおさめたが、それでも性能の最適化や収束の遅さといった課題に直面している。 これらの制約に対処するために,関数対応の非対称な低ランク前処理を組み込んだパラメータ効率の高い新しい手法である \textbf{AILoRA} を導入する。 実験により, 投射行列が, 自己保持機構における$W^Q$と$W^V$は, 機能的差異から異なるパラメータ特性を示すことが明らかとなった。 具体的には、$W^Q$は、注意分布計算に必要なタスク固有の意味空間知識をキャプチャし、そのパラメータを下流のタスクのバリエーションに非常に敏感にする。 対照的に$W^V$は、タスクやレイヤ間で安定している傾向にあるトークンレベルの特徴表現をエンコードする。 これらの知見を活用して、AILoRAは、タスク適応能力を維持するために$W^Q$の主コンポーネントと、一般化可能な特徴表現を保持するために$W^V$のマイナーコンポーネントを注入することで、関数認識初期化を実行する。 この非対称初期化戦略により、LoRAモジュールは注目パラメータの特別な役割をよりよく捉え、微調整性能と収束効率の両方を向上させることができる。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
  我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。 解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
  論文  参考訳（メタデータ） (2024-08-26T17:58:53Z)
• DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution [28.589498108609202]
  Low-Rank Adaptation (LoRA) は、ウェイト行列の差分パラメータ予算要件を無視したバイパスフレームワークに依存している。 DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。 実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-05-27T17:02:27Z)
• Asymmetry in Low-Rank Adapters of Foundation Models [47.310550805920585]
  本稿では、低ランクアダプタ行列の重要性において、予期せぬ非対称性を特徴付け、活用する。 我々は、細調整の$B$が、細調整の$A$よりも本質的に効果的であることを示し、ランダムな未トレーニングの$A$は、細調整の$A$よりもほぼ同等に機能することを示します。
  論文  参考訳（メタデータ） (2024-02-26T18:59:12Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。