Fugu-MT 論文翻訳(概要): Formalising the Logit Shift Induced by LoRA: A Technical Note

論文の概要: Formalising the Logit Shift Induced by LoRA: A Technical Note

arxiv url: http://arxiv.org/abs/2604.20313v1
Date: Wed, 22 Apr 2026 08:12:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-23 15:36:11.034677
Title: Formalising the Logit Shift Induced by LoRA: A Technical Note
Title（参考訳）: LoRAによるロジットシフトの定式化:技術ノート
Authors: Xiang Shi, Shuaizhi Cheng, Mingwei Li,
Abstract要約: この技術ノートはローランド適応(LoRA)によって引き起こされるロジットシフトとファクトマージン変化の1次形式化を提供する。多層LoRA効果は, 層間結合を表す高次残差項と, 層間寄与の線形和に分解可能であることを示す。
参考スコア（独自算出の注目度）: 6.290180827867576
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This technical note provides a first-order formalisation of the logit shift and fact-margin change induced by Low-Rank Adaptation (LoRA). Using a first-order Fréchet approximation around the base model trajectory, we show that the multi-layer LoRA effect can be decomposed into a linear summation of layerwise contributions and a higher-order remainder term representing inter-layer coupling.
Abstract（参考訳）: この技術ノートはローランド適応(LoRA)によって引き起こされるロジットシフトとファクトマージン変化の1次形式化を提供する。基本モデル軌道の周りの1次フレシェ近似を用いて、多層LoRA効果を階層的寄与の線形和と層間結合を表す高次剰余項に分解可能であることを示す。

関連論文リスト

Laplacian-LoRA: Delaying Oversmoothing in Deep GCNs via Spectral Low-Rank Adaptation [0.0]
標準グラフ畳み込みネットワーク(GCN)の低ランク適応であるLaplacian-LoRAを提案する。メッセージパッシングを再設計する代わりに、Laplacian-LoRAは学習可能でスペクトルに固定された修正を固定されたLaplacian伝搬演算子に導入する。また,Laplacian-LoRAはGCNの有効深度を最大2倍にまで延ばし,過スムージングの開始を連続的に遅らせることを示した。
論文参考訳（メタデータ） (2026-02-07T00:03:19Z)
Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文参考訳（メタデータ） (2025-07-02T15:56:40Z)
Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
論文参考訳（メタデータ） (2025-06-30T23:54:23Z)
RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
論文参考訳（メタデータ） (2025-03-16T17:16:36Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models [10.827800772359844]
微粒化複雑性理論を用いた変圧器モデルにおけるローランド適応(LoRA)の計算限界について検討する。我々のキーとなる観察は、LoRA適応の勾配計算における低ランク分解の存在がアルゴリズムの高速化につながることである。
論文参考訳（メタデータ） (2024-06-05T10:44:08Z)
LoTR: Low Tensor Rank Weight Adaptation [47.4904143988667]
大規模言語モデル(LLM)のパラメータ効率向上のための新しいアプローチであるLoTRを導入する。 LoTRはテンソル分解の形でパラメータの勾配更新を表す。低ランクテンソル表現を持つ層列の同時圧縮により、LoTRはより優れたパラメータ効率をアーカイブできる。
論文参考訳（メタデータ） (2024-02-02T13:00:38Z)
PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文参考訳（メタデータ） (2024-01-20T20:25:17Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。