論文の概要: L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2509.04884v1
• Date: Fri, 05 Sep 2025 08:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.516569
• Title: L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning
• Title（参考訳）: L1RA:LoRAファインチューニングにおける動的ランク割り当て
• Authors: Raul Singh, Nicolo Brunello, Vincenzo Scotti, Mark James Carman,
• Abstract要約: L1RAは,LoRAを用いた微調整において,低ランクアダプタのランクを動的に分散する手法である。 実験により,L1RAは,他のLoRAの変種と比較して,計算オーバーヘッドが同等あるいは少なく抑えられていることを実証した。
• 参考スコア（独自算出の注目度）: 0.09799637101641147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability of Large Language Models (LLMs) to solve complex tasks has made them crucial in the development of AI-based applications. However, the high computational requirements to fine-tune these LLMs on downstream tasks pose significant challenges, particularly when resources are limited. In response to this challenge, we introduce L1RA, a novel technique aimed at dynamically distributing the rank of low-rank adapters during fine-tuning using LoRA. Given a rank budget (i.e., total sum of adapters rank), L1RA leverages L1 regularisation to prune redundant ranks and redistribute them across adapters, thereby optimising resource utilisation. Through a series of comprehensive experiments, we empirically demonstrate that L1RA maintains comparable or even reduced computational overhead compared to other LoRA variants, including the vanilla approach, while achieving same or better performances. Moreover, the post-training analysis of rank distribution unveiled insights into the specific model components requiring the most adaptation to align with the task objective: the feed-forward layers and the attention output projection. These results highlight the efficacy of L1RA in not only enhancing the efficiency of LLM fine-tuning, but also in providing valuable diagnostic information for model refinement and customisation. In conclusion, L1RA stands as a promising technique for advancing the performance and interpretability of LLM adaptation, particularly in scenarios where computational resources are constrained.
• Abstract（参考訳）: 複雑なタスクを解くためのLLM(Large Language Models)の能力は、AIベースのアプリケーションの開発に欠かせないものとなっている。 しかし、これらのLLMを下流のタスクで微調整するための高い計算要求は、特にリソースが限られている場合、重大な問題を引き起こす。 L1RAは,LoRAを用いた微調整において,低ランクアダプタのランクを動的に分散する手法である。 ランクの予算(すなわち、アダプタの総和)が与えられた後、L1RAはL1正規化を活用して冗長なランクを割り出し、アダプタ間で再配布し、リソース利用を最適化する。 一連の総合的な実験を通して、L1RAは、バニラアプローチを含む他のLoRAの変種と比較して、同等またはより優れた性能を達成しつつ、計算オーバーヘッドを抑えることを実証的に実証した。 さらに、ランク分布の学習後分析により、タスク目標(フィードフォワード層とアテンション出力プロジェクション)に最も適応する必要がある特定のモデルコンポーネントに対する洞察が明らかになった。 これらの結果は, LLM微調整の効率を高めるだけでなく, モデル改良やカスタマイズに有用な診断情報を提供することにおいて, L1RAの有効性を強調した。 結論として、L1RAは、特に計算資源が制約されたシナリオにおいて、LLM適応の性能と解釈可能性を向上させるための有望な手法である。

関連論文リスト

• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• CLoQ: Enhancing Fine-Tuning of Quantized LLMs via Calibrated LoRA Initialization [2.975939846457057]
  低ランク適応 (LoRA) を用いた細調整型大規模言語モデル (LLM) は, 下流タスクにおいて極めて効率的なアプローチとなっている。 量子化LLMにLoRA技術を適用すると、量子化重みの表現精度が低下するため、ユニークな課題が生じる。 CLoQは、これらの課題を克服するために設計された、単純化された初期化戦略である。
  論文  参考訳（メタデータ） (2025-01-30T16:48:15Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
  Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。 一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。 GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
  論文  参考訳（メタデータ） (2023-06-13T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。