Fugu-MT 論文翻訳(概要): RaSA: Rank-Sharing Low-Rank Adaptation

論文の概要: RaSA: Rank-Sharing Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2503.12576v1
Date: Sun, 16 Mar 2025 17:16:36 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-18 14:56:57.98674
Title: RaSA: Rank-Sharing Low-Rank Adaptation
Title（参考訳）: RaSA:ランク共有低ランク適応
Authors: Zhiwei He, Zhaopeng Tu, Xing Wang, Xingyu Chen, Zhijie Wang, Jiahao Xu, Tian Liang, Wenxiang Jiao, Zhuosheng Zhang, Rui Wang,
Abstract要約: 低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
参考スコア（独自算出の注目度）: 67.40422142257091
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-rank adaptation (LoRA) has been prominently employed for parameter-efficient fine-tuning of large language models (LLMs). However, the limited expressive capacity of LoRA, stemming from the low-rank constraint, has been recognized as a bottleneck, particularly in rigorous tasks like code generation and mathematical reasoning. To address this limitation, we introduce Rank-Sharing Low-Rank Adaptation (RaSA), an innovative extension that enhances the expressive capacity of LoRA by leveraging partial rank sharing across layers. By forming a shared rank pool and applying layer-specific weighting, RaSA effectively increases the number of ranks without augmenting parameter overhead. Our theoretically grounded and empirically validated approach demonstrates that RaSA not only maintains the core advantages of LoRA but also significantly boosts performance in challenging code and math tasks. Code, data and scripts are available at: https://github.com/zwhe99/RaSA.
Abstract（参考訳）: 低ランク適応(LoRA)は、大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。しかし、ローランク制約に由来するLoRAの限られた表現能力は、特にコード生成や数学的推論のような厳密なタスクにおいてボトルネックとして認識されている。この制限に対処するために、階層間の部分的なランク共有を活用することで、LoRAの表現能力を高める革新的な拡張であるRange-Sharing Low-Rank Adaptation (RaSA)を導入する。共有ランクプールを形成し、層固有の重み付けを適用することにより、RaSAはパラメータのオーバーヘッドを増大させることなく、効果的にランク数を増やすことができる。我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。コード、データ、スクリプトは、https://github.com/zwhe99/RaSA.comで入手できる。

関連論文リスト

Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
論文参考訳（メタデータ） (2025-06-30T23:54:23Z)
Revisiting LoRA through the Lens of Parameter Redundancy: Spectral Encoding Helps [37.00767702936744]
Low-Rank Adaptation (LoRA) は、大規模な基礎モデルを微調整するための顕著なテクニックとして登場した。その成功にもかかわらず、LoRAのキャパシティと効率を制限するかなりのパラメータ冗長性はボトルネックとして認識されている。 underlineSpectral-underlineencoding underlineLow-underlineRank underlineAdaptation (SeLoRA)を紹介する。
論文参考訳（メタデータ） (2025-06-20T07:09:05Z)
GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [13.657093411434511]
Low-Rank Adaptation (LoRA) は、生成モデルのパラメータ効率の良い微調整(PEFT)の一般的な手法である。グラニュラーローランド適応(GraLoRA)という新しい構造を導入する。 GraLoRAは重量行列をサブブロックに分割する。
論文参考訳（メタデータ） (2025-05-26T06:48:20Z)
SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文参考訳（メタデータ） (2025-05-18T14:12:40Z)
One Head Eight Arms: Block Matrix based Low Rank Adaptation for CLIP-based Few-Shot Learning [11.724194320966959]
本稿では,ビジョン・ランゲージ・ファンデーション・モデルのためのブロック行列に基づく低ランク適応フレームワークBlock-LoRAを提案する。また,Block-LoRAは,最先端のCLIPベースの複数ショット方式と比較して,競合性能が向上していることを示す。
論文参考訳（メタデータ） (2025-01-28T05:54:55Z)
SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文参考訳（メタデータ） (2024-12-12T13:04:54Z)
Planning vs Reasoning: Ablations to Test Capabilities of LoRA layers [0.0]
低ランク適応層は効率的なモデル微調整のための有望なアプローチとして現れている。本稿では,LoRA層が推論・計画能力の向上に有効かどうかを考察する。
論文参考訳（メタデータ） (2024-11-19T10:51:49Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文参考訳（メタデータ） (2024-09-22T11:24:10Z)
LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文参考訳（メタデータ） (2024-07-25T17:57:12Z)
SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
論文参考訳（メタデータ） (2024-07-07T15:37:13Z)
ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2024-02-28T04:33:20Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。