Fugu-MT 論文翻訳(概要): TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models

論文の概要: TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models

arxiv url: http://arxiv.org/abs/2604.13368v1
Date: Wed, 15 Apr 2026 00:30:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-16 20:38:32.335531
Title: TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models
Title（参考訳）: TLoRA+:大規模言語モデルのための低ランクパラメータ効率細調整法
Abstract要約: 本稿では,TLoRA+を事前学習モデルの重み行列に組み込む新しいPEFT法を提案する。提案手法は,低ランク適応の効率を保ちながら,計算コストを大幅に増大させることなく性能を向上させる。
参考スコア（独自算出の注目度）: 4.092357804635167
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuning large language models (LLMs) aims to adapt pre-trained models to specific tasks using relatively small and domain-specific datasets. Among Parameter-Efficient Fine-Tuning (PEFT) methods, Low-Rank Adaptation (LoRA) stands out by matching the performance of full fine-tuning while avoiding additional inference latency. In this paper, we propose a novel PEFT method that incorporates the TLoRA+ optimizer into the weight matrices of pre-trained models. The proposed approach not only preserves the efficiency of low-rank adaptation but also further enhances performance without significantly increasing computational cost. We conduct experiments on the GLUE benchmark across diverse model architectures. Numerical experiments consistently demonstrate the effectiveness and robustness of our proposed method.
Abstract（参考訳）: 微調整された大規模言語モデル(LLM)は、比較的小さなドメイン固有のデータセットを使用して、訓練済みのモデルを特定のタスクに適応することを目的としている。パラメータ効率の良いファインチューニング(PEFT)手法の中で、Low-Rank Adaptation(LoRA)は、追加の推論遅延を回避しつつ、フルファインチューニングのパフォーマンスを一致させることで際立っている。本稿では,TLoRA+オプティマイザを事前学習モデルの重み行列に組み込む新しいPEFT法を提案する。提案手法は,低ランク適応の効率を保ちながら,計算コストを大幅に増大させることなく性能を向上させる。さまざまなモデルアーキテクチャにわたるGLUEベンチマークで実験を行う。数値実験により提案手法の有効性とロバスト性を一貫して実証した。

関連論文リスト

New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework [52.69678300445233]
fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。 PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
論文参考訳（メタデータ） (2026-04-10T22:39:38Z)
Train Less, Infer Faster: Efficient Model Finetuning and Compression via Structured Sparsity [21.090365337326414]
数十億のパラメータを持つ基礎言語モデル(LM)は、高い計算コスト、メモリ要求、過度に適合するリスクのために、しばしば実用的ではない。トレーニングゲートを用いたスパシフィケーションによる効果的なファインタニング手法を提案する。実験結果から、最近の微調整ベースラインの効率と性能に優れることが示された。
論文参考訳（メタデータ） (2026-02-09T20:20:29Z)
High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文参考訳（メタデータ） (2026-01-12T13:06:17Z)
$α$-LoRA: Effective Fine-Tuning via Base Model Rescaling [41.58663029548425]
そこで我々は, 微調整モデルの能力一般化を促進するために, 伝達学習のための新しいクラスreパラメタライゼーション手法を提案する。ランダム行列理論のツールを用いた高次元二値分類設定において,本手法の有効性を確立し,より現実的な実験により理論的知見を検証した。
論文参考訳（メタデータ） (2025-10-24T11:19:33Z)
UORA: Uniform Orthogonal Reinitialization Adaptation in Parameter-Efficient Fine-Tuning of Large Models [7.706953461614795]
一様直交再初期化適応(Uniform Orthogonal Reinitialization Adaptation, UORA)は、大規模言語モデル(LLM)のための新しいパラメータ効率細調整(PEFT)アプローチである。
論文参考訳（メタデータ） (2025-05-26T15:56:40Z)
Optimization-Inspired Few-Shot Adaptation for Large Language Models [25.439708260502556]
LLM(Large Language Models)は、現実世界のアプリケーションで顕著な性能を示している。 LLMを微調整によって新しいタスクに適応させるには、数ショットのシナリオでは実行不可能な、実質的なトレーニングデータと計算資源が必要となることが多い。既存のアプローチ、例えば、コンテキスト内学習や。 PEFT(Efficient Fine-Tuning)は、重要な制限に直面している。
論文参考訳（メタデータ） (2025-05-25T11:54:23Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
論文参考訳（メタデータ） (2024-10-02T17:29:23Z)
SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文参考訳（メタデータ） (2024-09-10T16:44:47Z)
Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
生成モデルのための新しいスペクトル対応適応フレームワークを提案する。本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
論文参考訳（メタデータ） (2024-05-31T17:43:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。