論文の概要: TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models
- arxiv url: http://arxiv.org/abs/2604.13368v1
- Date: Wed, 15 Apr 2026 00:30:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.335531
- Title: TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models
- Title（参考訳）: TLoRA+:大規模言語モデルのための低ランクパラメータ効率細調整法
- Authors: Yarui Cao, Kai Liu,
- Abstract要約: 本稿では,TLoRA+を事前学習モデルの重み行列に組み込む新しいPEFT法を提案する。
提案手法は,低ランク適応の効率を保ちながら,計算コストを大幅に増大させることなく性能を向上させる。
- 参考スコア（独自算出の注目度）: 4.092357804635167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning large language models (LLMs) aims to adapt pre-trained models to specific tasks using relatively small and domain-specific datasets. Among Parameter-Efficient Fine-Tuning (PEFT) methods, Low-Rank Adaptation (LoRA) stands out by matching the performance of full fine-tuning while avoiding additional inference latency. In this paper, we propose a novel PEFT method that incorporates the TLoRA+ optimizer into the weight matrices of pre-trained models. The proposed approach not only preserves the efficiency of low-rank adaptation but also further enhances performance without significantly increasing computational cost. We conduct experiments on the GLUE benchmark across diverse model architectures. Numerical experiments consistently demonstrate the effectiveness and robustness of our proposed method.
- Abstract（参考訳）: 微調整された大規模言語モデル(LLM)は、比較的小さなドメイン固有のデータセットを使用して、訓練済みのモデルを特定のタスクに適応することを目的としている。
パラメータ効率の良いファインチューニング(PEFT)手法の中で、Low-Rank Adaptation(LoRA)は、追加の推論遅延を回避しつつ、フルファインチューニングのパフォーマンスを一致させることで際立っている。
本稿では,TLoRA+オプティマイザを事前学習モデルの重み行列に組み込む新しいPEFT法を提案する。
提案手法は,低ランク適応の効率を保ちながら,計算コストを大幅に増大させることなく性能を向上させる。
さまざまなモデルアーキテクチャにわたるGLUEベンチマークで実験を行う。
数値実験により提案手法の有効性とロバスト性を一貫して実証した。
関連論文リスト
- $α$-LoRA: Effective Fine-Tuning via Base Model Rescaling [41.58663029548425]
そこで我々は, 微調整モデルの能力一般化を促進するために, 伝達学習のための新しいクラスreパラメタライゼーション手法を提案する。
ランダム行列理論のツールを用いた高次元二値分類設定において,本手法の有効性を確立し,より現実的な実験により理論的知見を検証した。
論文 参考訳（メタデータ） (2025-10-24T11:19:33Z) - UORA: Uniform Orthogonal Reinitialization Adaptation in Parameter-Efficient Fine-Tuning of Large Models [7.706953461614795]
一様直交再初期化適応(Uniform Orthogonal Reinitialization Adaptation, UORA)は、大規模言語モデル(LLM)のための新しいパラメータ効率細調整(PEFT)アプローチである。
論文 参考訳（メタデータ） (2025-05-26T15:56:40Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。
本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。
理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
論文 参考訳（メタデータ） (2024-10-02T17:29:23Z) - SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。
本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。
本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文 参考訳（メタデータ） (2024-09-10T16:44:47Z) - Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
生成モデルのための新しいスペクトル対応適応フレームワークを提案する。
本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。
本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
論文 参考訳（メタデータ） (2024-05-31T17:43:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。