Fugu-MT 論文翻訳(概要): TLoRA: Task-aware Low Rank Adaptation of Large Language Models

論文の概要: TLoRA: Task-aware Low Rank Adaptation of Large Language Models

arxiv url: http://arxiv.org/abs/2604.18124v1
Date: Mon, 20 Apr 2026 11:43:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-21 21:52:52.838459
Title: TLoRA: Task-aware Low Rank Adaptation of Large Language Models
Title（参考訳）: TLoRA:大規模言語モデルのタスク対応低ランク適応
Authors: Weicheng Lin, Yi Zhang, Jiawei Dang, Liang-Jie Zhang,
Abstract要約: Low-Rank Adaptation (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く採用されている。既存のLoRA変種はこれらの要因の1つにのみ対応しており、多くの場合、訓練の複雑さを増大させるか、実用的な効率を低下させるコストがかかる。本稿では,学習開始時の資源配分を協調的に最適化する統合フレームワークTLoRAを提案する。
参考スコア（独自算出の注目度）: 8.568676581408239
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-Rank Adaptation (LoRA) has become a widely adopted parameter-efficient fine-tuning method for large language models, with its effectiveness largely influenced by the allocation of ranks and scaling factors, as well as initialization. Existing LoRA variants typically address only one of these factors, often at the cost of increased training complexity or reduced practical efficiency. In this work, we present Task-aware Low-Rank Adaptation (TLoRA), a unified framework that jointly optimizes initialization and resource allocation at the outset of training. TLoRA introduces a data-driven initialization strategy that aligns the LoRA $A$ matrix with task-relevant subspaces by performing singular value decomposition on the product of pre-trained weights and input activation covariance. After this, the $A$ matrix is frozen, and only the $B$ matrix is trained. Furthermore, TLoRA employs a sensitivity-based importance metric to adaptively allocate ranks and scaling factors across layers under a fixed parameter budget. We conduct extensive experiments that demonstrate TLoRA consistently performs excellently across various tasks, including natural language understanding, commonsense reasoning, math reasoning, code generation, and chat generation, while significantly reducing the number of trainable parameters.
Abstract（参考訳）: Low-Rank Adaptation (LoRA) は大規模言語モデルにおいてパラメータ効率のよい微調整法として広く採用されている。既存のLoRA変種は通常、これらの要因の1つに対処するが、多くの場合、訓練の複雑さを増大させるか、実用的な効率を低下させるコストがかかる。本研究では,学習開始時の初期化と資源配分を協調的に最適化する統合フレームワークである,タスク対応低ランク適応(TLoRA)を提案する。 TLoRAは、LoRA$A$行列とタスク関連部分空間を一致させるデータ駆動初期化戦略を導入し、事前学習された重みの積と入力活性化共分散の特異値分解を行う。その後、$A$行列は凍結され、$B$行列のみが訓練される。さらに、TLoRAは感度に基づく重要度基準を用いて、固定パラメータ予算の下で階層間のランクとスケーリング要素を適応的に割り当てる。我々は、TLoRAが自然言語理解、常識推論、算術推論、コード生成、チャット生成など、様々なタスクで一貫した性能を発揮することを実証する広範な実験を行い、トレーニング可能なパラメータの数を著しく削減した。

関連論文リスト

Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文参考訳（メタデータ） (2026-01-30T10:54:51Z)
Less is More: Resource-Efficient Low-Rank Adaptation [15.883867662707743]
EffiLoRAは、言語、マルチモーダル、拡散モデルのための軽量で一般化可能なアプローチである。 LoRAは、常識推論、ビジュアルインストラクションチューニング、画像生成など、様々なモダリティで一貫して優れています。
論文参考訳（メタデータ） (2025-11-30T12:52:04Z)
ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints [64.35580479051208]
以前の作品では、ローランクアダプタ (LoRA) はすべてのアタッチメントポイントに対してランダムに固定されたランクである。本稿では,データ駆動重み初期化法を用いて,LoRAファインチューニングの収束性と最終性能を改善する。
論文参考訳（メタデータ） (2025-07-09T23:52:31Z)
GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文参考訳（メタデータ） (2024-12-12T13:04:54Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models [7.108651381160281]
Low-Rank Adaptation (LoRA) 戦略は、微調整された大型モデルにおける効率と性能のバランスをとる。我々は、共有知識を活用してLoRAトレーニングを最適化するtextbfCoRAを提案する。実験の結果,最初のアプローチは,パラメータの半減よりも効率が良く,元のLoRAファインチューニングと同じ効果が得られることがわかった。
論文参考訳（メタデータ） (2024-08-31T12:48:27Z)
PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文参考訳（メタデータ） (2024-01-20T20:25:17Z)
AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。