論文の概要: TensLoRA: Tensor Alternatives for Low-Rank Adaptation
- arxiv url: http://arxiv.org/abs/2509.19391v1
- Date: Mon, 22 Sep 2025 17:15:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.536119
- Title: TensLoRA: Tensor Alternatives for Low-Rank Adaptation
- Title（参考訳）: TensLoRA: 低ランク適応のためのテンソル代替
- Authors: Axel Marmoret, Reda Bensaid, Jonathan Lys, Vincent Gripon, François Leduc-Primeau,
- Abstract要約: Low-Rank Adaptation (LoRA) は、トレーニング可能な低ランク行列をアテンションプロジェクションに追加することにより、トランスフォーマーを効率的に適応するために広く使われている。
最近の拡張では、テンソルベースの適応が検討されているが、限定的な形式であり、体系的な枠組みがない。
我々は高階テンソルにLoRA更新を集約する統一フレームワークであるTensLoRAを導入し、テンソルベースの低ランク適応の幅広いファミリをモデル化する。
- 参考スコア（独自算出の注目度）: 4.409447722044799
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Low-Rank Adaptation (LoRA) is widely used to efficiently adapt Transformers by adding trainable low-rank matrices to attention projections. While effective, these matrices are considered independent for each attention projection (Query, Key, and Value) and each layer. Recent extensions have considered joint, tensor-based adaptations, but only in limited forms and without a systematic framework. We introduce TensLoRA, a unified framework that aggregates LoRA updates into higher-order tensors and models a broad family of tensor-based low-rank adaptations. Our formulation generalizes existing tensor-based methods and enables mode-specific compression rates, allowing parameter budgets to be tailored according to the modality and task. Experiments on vision and language benchmarks reveal that the tensor construction directly impacts performance, sometimes better than standard LoRA under similar parameter counts.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、トレーニング可能な低ランク行列をアテンションプロジェクションに追加することにより、トランスフォーマーを効率的に適応するために広く使われている。
効果はあるものの、これらの行列は各アテンションプロジェクション(クエリ、キー、バリュー)と各レイヤに対して独立していると見なされる。
最近の拡張では、テンソルベースの適応が検討されているが、限定的な形式であり、体系的な枠組みは存在していない。
我々は高階テンソルにLoRA更新を集約する統一フレームワークであるTensLoRAを導入し、テンソルベースの低ランク適応の幅広いファミリをモデル化する。
我々の定式化は既存のテンソル法を一般化し、モード固有の圧縮率を可能にし、パラメータの予算をモーダリティとタスクに応じて調整することができる。
視覚と言語ベンチマークの実験では、テンソル構造がパフォーマンスに直接影響し、時として同様のパラメータ数で標準のLoRAよりも優れていることが示されている。
関連論文リスト
- Joint Tensor-Train Parameterization for Efficient and Expressive Low-Rank Adaptation [33.3214207118996]
Low-Rank Adaptation (LoRA)は、そのパラメータ効率の良い大規模ニューラルネットワークの微調整で広く認識されている。
本稿では,これらの制約を克服する新しいテンソルトレイン誘導適応フレームワークを提案する。
その結果,Guide ベースの LoRA は標準 LoRA と TT-LoRA を一貫して上回り,より少ないパラメータで精度とスケーラビリティの向上を実現している。
論文 参考訳（メタデータ） (2025-06-19T16:46:23Z) - GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。
Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。
隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文 参考訳（メタデータ） (2024-12-12T13:04:54Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - LoTR: Low Tensor Rank Weight Adaptation [47.4904143988667]
大規模言語モデル(LLM)のパラメータ効率向上のための新しいアプローチであるLoTRを導入する。
LoTRはテンソル分解の形でパラメータの勾配更新を表す。
低ランクテンソル表現を持つ層列の同時圧縮により、LoTRはより優れたパラメータ効率をアーカイブできる。
論文 参考訳（メタデータ） (2024-02-02T13:00:38Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。