論文の概要: Joint Tensor-Train Parameterization for Efficient and Expressive Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2506.16456v1
• Date: Thu, 19 Jun 2025 16:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.172135
• Title: Joint Tensor-Train Parameterization for Efficient and Expressive Low-Rank Adaptation
• Title（参考訳）: 効率的な低ランク適応のための関節型テンソル・トレインパラメータ化
• Authors: Jun Qi, Chen-Yu Liu, Sabato Marco Siniscalchi, Chao-Han Huck Yang, Min-Hsiu Hsieh,
• Abstract要約: Low-Rank Adaptation (LoRA)は、そのパラメータ効率の良い大規模ニューラルネットワークの微調整で広く認識されている。 本稿では,これらの制約を克服する新しいテンソルトレイン誘導適応フレームワークを提案する。 その結果,Guide ベースの LoRA は標準 LoRA と TT-LoRA を一貫して上回り,より少ないパラメータで精度とスケーラビリティの向上を実現している。
• 参考スコア（独自算出の注目度）: 33.3214207118996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is widely recognized for its parameter-efficient fine-tuning of large-scale neural models. However, standard LoRA independently optimizes low-rank matrices, which inherently limits its expressivity and generalization capabilities. While classical tensor-train (TT) decomposition can be separately employed on individual LoRA matrices, this work demonstrates that the classical TT-based approach neither significantly improves parameter efficiency nor achieves substantial performance gains. This paper proposes TensorGuide, a novel tensor-train-guided adaptation framework to overcome these limitations. TensorGuide generates two correlated low-rank LoRA matrices through a unified TT structure driven by controlled Gaussian noise. The resulting joint TT representation inherently provides structured, low-rank adaptations, significantly enhancing expressivity, generalization, and parameter efficiency without increasing the number of trainable parameters. Theoretically, we justify these improvements through neural tangent kernel analyses, demonstrating superior optimization dynamics and enhanced generalization. Extensive experiments on quantum dot classification and GPT-2 fine-tuning benchmarks demonstrate that TensorGuide-based LoRA consistently outperforms standard LoRA and TT-LoRA, achieving improved accuracy and scalability with fewer parameters.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、そのパラメータ効率の良い大規模ニューラルネットワークの微調整で広く認識されている。 しかし、標準のLoRAは独立に低ランク行列を最適化し、その表現性と一般化能力を本質的に制限する。 古典的テンソルトレイン(TT)分解は個々のLoRA行列に別々に行うことができるが、この研究は古典的TTベースのアプローチがパラメータ効率を著しく改善したり、実質的な性能向上を達成できないことを示した。 本稿では,これらの制約を克服する新しいテンソルトレイン誘導適応フレームワークであるTensorGuideを提案する。 TensorGuide はガウス雑音によって駆動される統一TT構造により2つの相関した低ランク LoRA 行列を生成する。 結果として得られる共同TT表現は、本質的に、トレーニング可能なパラメータの数を増やすことなく、構造化され、低ランクな適応を提供し、表現性、一般化、パラメータ効率を大幅に向上させる。 理論的には、これらの改善をニューラル・タンジェント・カーネル解析によって正当化し、優れた最適化力学と一般化の強化を実証する。 量子ドット分類と GPT-2 の微調整ベンチマークによる大規模な実験により、TensorGuide ベースの LoRA は標準 LoRA と TT-LoRA を一貫して上回り、より少ないパラメータで精度とスケーラビリティの向上を実現している。

関連論文リスト

• Norm-Bounded Low-Rank Adaptation [10.22454500514559]
  パラメータ効率の良い微調整のためのノルム有界低ランク適応(NB-LoRA)を提案する。 NB-ロラ (NB-LoRA) は、適応行列の各特異値の明示的な境界を許容する低ランクな重み適応の新しいパラメータ化である。
  論文  参考訳（メタデータ） (2025-01-31T11:24:57Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。