Fugu-MT 論文翻訳(概要): TailLoR: Protecting Principal Components in Parameter-Efficient Continual Learning

論文の概要: TailLoR: Protecting Principal Components in Parameter-Efficient Continual Learning

arxiv url: http://arxiv.org/abs/2606.06494v1
Date: Thu, 04 Jun 2026 17:59:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-05 22:39:45.040861
Title: TailLoR: Protecting Principal Components in Parameter-Efficient Continual Learning
Title（参考訳）: TailLoR:パラメータ効率のよい連続学習における主成分保護
Authors: Marius Dragoi, Ioana Pintilie, Alexandra Dragomir, Antonio Barbalau, Florin Brad,
Abstract要約: 本稿では,事前学習した重みの特異基底U,Vを固定参照フレームとして利用して,特異値行列に適用した低ランク更新を学習するTailLoRを提案する。ソフトスペクトルペナルティは、支配的な特異方向に沿った更新を阻止し、干渉を低減し、高度に柔軟で長い尾のスペクトル座標に微粒な適応をルーティングする。
参考スコア（独自算出の注目度）: 39.35080737558648
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Parameter-efficient finetuning methods based on spectral decomposition have enabled progress in Continual Learning. In this paper we introduce TailLoR, which utilizes the singular bases U and V of the pre-trained weights as a fixed reference frame to learn a low-rank update applied to the singular value matrix. A soft spectral penalty discourages updates aligned with dominant singular directions, reducing interference while routing fine-grained adaptation into the highly flexible, long-tail spectral coordinates.
Abstract（参考訳）: スペクトル分解に基づくパラメータ効率の高い微調整法は連続学習の進歩を可能にした。本稿では,事前学習した重みの特異基底 U と V を固定参照フレームとして利用し,特異値行列に適用した低ランク更新を学習するTailLoRを提案する。ソフトスペクトルペナルティは、支配的な特異方向に沿った更新を阻止し、干渉を低減し、高度に柔軟で長い尾のスペクトル座標に微粒な適応をルーティングする。

関連論文リスト

Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
論文参考訳（メタデータ） (2026-05-11T17:59:25Z)
Regularized Centered Emphatic Temporal Difference Learning [14.415762410365106]
関数近似を用いたオフ政治時間差学習(TD)は、安定性、投影幾何学、分散制御の間の構造的トレードオフに直面している。強調的TD(ETD)は、追従的強調により、非政治的な射影幾何学を改善するが、追従的トレースは高いばらつきを持つ。本稿では,後続トレースを保存し,補助中心再帰のみを正規化する,強調時間差学習(RETD)を提案する。
論文参考訳（メタデータ） (2026-05-02T10:32:24Z)
On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning [14.815508281465272]
本研究では,更新部分空間の幾何やパラメータ化の影響を強く受けていることを示す。本研究は,更新部分空間設計を連続学習の重要な要素として取り上げ,逐次的設定における効率的な適応戦略を選択するための実践的ガイダンスを提供する。
論文参考訳（メタデータ） (2026-03-10T13:53:25Z)
Predictive Spectral Calibration for Source-Free Test-Time Regression [0.764671395172401]
Predictive Spectral (PSC) は、サブスペースアライメントを拡張してスペクトルマッチングをブロックする、ソースフリーのフレームワークである。 PSCは実装が簡単で、モデルに依存しず、市販の事前訓練された回帰器と互換性がある。
論文参考訳（メタデータ） (2026-03-10T08:15:44Z)
When Gradient Clipping Becomes a Control Mechanism for Differential Privacy in Deep Learning [3.8218584696400484]
機密データに対するプライバシー保護トレーニングは、勾配クリッピングとガウスノイズに依存している。既存の適応的クリッピング法は、例ごとの勾配標準統計に依存することが多い。本稿では,パラメータから計算した軽量で重量のみのスペクトル診断を用いて,しきい値に適応する制御駆動型クリッピング手法を提案する。
論文参考訳（メタデータ） (2026-02-11T07:18:25Z)
Spectral Gating Networks [65.9496901693099]
我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。 SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
論文参考訳（メタデータ） (2026-02-07T20:00:49Z)
ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
論文参考訳（メタデータ） (2026-02-07T10:19:36Z)
Adaptive Benign Overfitting (ABO): Overparameterized RLS for Online Learning in Non-stationary Time-series [0.0]
ABOは非常に正確で(ベースラインのカーネルメソッドと比較して)、20～40%のスピード改善を実現している。結果は、安定したオンライン学習フレームワーク内で適応フィルタリング、カーネル近似、良性過剰適合をリンクする統一ビューを提供する。
論文参考訳（メタデータ） (2026-01-29T15:58:01Z)
Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
論文参考訳（メタデータ） (2021-03-07T00:15:44Z)
On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。