論文の概要: AROMA: Autonomous Rank-one Matrix Adaptation

• arxiv url: http://arxiv.org/abs/2504.05343v2
• Date: Fri, 11 Apr 2025 06:26:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:16:50.760207
• Title: AROMA: Autonomous Rank-one Matrix Adaptation
• Title（参考訳）: AROMA: 自律的なランク1行列適応
• Authors: Hao Nan Sheng, Zhi-yong Wang, Mingrui Yang, Hing Cheung So,
• Abstract要約: 階層固有の更新を自動的に構築するフレームワークであるAROMAを導入し、段階的にゼロに減少するトレーニング可能なパラメータがほとんどないランクワンのコンポーネントを反復的に構築する。 AROMAは、自然言語理解や常識推論タスクにおいて優れたパフォーマンスを実現しつつ、LoRAやAdaLoRAと比較してパラメータを著しく削減する。
• 参考スコア（独自算出の注目度）: 15.919752343000992
• License:
• Abstract: As large language models continue to grow in size, parameter-efficient fine-tuning (PEFT) has become increasingly crucial. While low-rank adaptation (LoRA) offers a solution through low-rank updates, its static rank allocation may yield suboptimal results. Adaptive low-rank adaptation (AdaLoRA) improves this with dynamic allocation but remains sensitive to initial and target rank configurations. We introduce AROMA, a framework that automatically constructs layer-specific updates by iteratively building up rank-one components with very few trainable parameters that gradually diminish to zero. Unlike existing methods that employ rank reduction mechanisms, AROMA introduces a dual-loop architecture for rank growth. The inner loop extracts information from each rank-one subspace, while the outer loop determines the number of rank-one subspaces, i.e., the optimal rank. We reset optimizer states to maintain subspace independence. AROMA significantly reduces parameters compared to LoRA and AdaLoRA while achieving superior performance on natural language understanding and commonsense reasoning tasks, offering new insights into adaptive PEFT. The code is available at \href{https://github.com/ShuDun23/AROMA}{AROMA}.
• Abstract（参考訳）: 大規模言語モデルのサイズが拡大するにつれ、パラメータ効率の微調整(PEFT)がますます重要になっている。 低ランク適応(LoRA)は低ランク更新によるソリューションを提供するが、静的なランク割り当ては準最適結果をもたらす可能性がある。 アダプティブ・ローランク適応(AdaLoRA)は動的アロケーションでこれを改善するが、初期および目標のランク設定に敏感である。 階層固有の更新を自動的に構築するフレームワークであるAROMAを導入し、段階的にゼロに減少するトレーニング可能なパラメータがほとんどないランクワンのコンポーネントを反復的に構築する。 階数減少機構を用いる既存の方法とは異なり、AROMAは階数成長のための二重ループアーキテクチャを導入している。 内ループは各ランク1部分空間から情報を抽出し、外ループはランク1部分空間の数、すなわち最適なランクを決定する。 サブスペース独立を維持するために、オプティマイザステートをリセットします。 AROMAは、自然言語理解や常識推論タスクにおいて優れた性能を発揮しながら、LoRAやAdaLoRAと比較してパラメータを著しく削減し、適応PEFTに対する新たな洞察を提供する。 コードは \href{https://github.com/ShuDun23/AROMA}{AROMA} で公開されている。

関連論文リスト

• SSMLoRA: Enhancing Low-Rank Adaptation with State Space Model [11.90104174705911]
  低ランク行列を相互接続するための低ランク適応(LoRA)の拡張であるSSMLoRA(State Space Model Low-Rank Adaptation)を提案する。 本手法は一般言語評価(GLUE)ベンチマークでLoRAに匹敵する性能を達成し,パラメータの半分しか使用していない。
  論文  参考訳（メタデータ） (2025-02-07T14:22:35Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
  Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
  論文  参考訳（メタデータ） (2024-08-13T12:31:30Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning [31.975038164401404]
  低ランク適応 (LoRA) 低ランクインクリメンタル更新行列は、凍結事前訓練された重量の上に置かれる。 本稿では,各LoRA層の最適ランクを自動的に識別するフレームワークであるAutoLoRAを紹介する。 自然言語理解,生成,シーケンスラベリングに関する実験により,AutoLoRAの有効性が示された。
  論文  参考訳（メタデータ） (2024-03-14T05:29:35Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。