Fugu-MT 論文翻訳(概要): SLORR: Simple and Efficient In-Training Low-Rank Regularization

論文の概要: SLORR: Simple and Efficient In-Training Low-Rank Regularization

arxiv url: http://arxiv.org/abs/2607.08754v1
Date: Thu, 09 Jul 2026 17:51:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-10 14:45:27.618048
Title: SLORR: Simple and Efficient In-Training Low-Rank Regularization
Title（参考訳）: SLORR: シンプルで効率的なトレーニング内低ランク正規化
Authors: David González-Martínez, Shiwei Liu,
Abstract要約: 低ランク正規化をトレーニングするためのシンプルでステートレスなアーキテクチャ保存フレームワークであるSLORRを紹介する。我々はまず,ResNet-50, ViT-B/16, ViT-L/16の継続トレーニングとResNet-18の事前トレーニングを行い,ImageNet-1K上のSLORRの評価を行った。 SLORRで訓練された圧縮モデルは、非正規化モデルよりも性能が大幅に向上し、平均的なトレーニングオーバーヘッドは1%以下となった。
参考スコア（独自算出の注目度）: 15.816576171349295
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-rank factorization is widely used to compress neural networks, but modern models are often not naturally amenable to aggressive factorization without significant accuracy loss. Existing training-time low-rank regularizers can improve compressibility, but they often require SVDs of large weight matrices, modify the model architecture (introducing additional trainable parameters), or rely on stateful cached quantities. To address these limitations, we introduce SLORR, a simple, stateless, and architecture-preserving framework for in-training low-rank regularization, instantiated with two main variants based on the Hoyer sparsity metric and the nuclear norm. SLORR directly regularizes the original weight matrices using GPU-friendly approximations for the forward and backward passes of the regularizers, for which we provide approximation guarantees. We first evaluate SLORR on ImageNet-1K across short-horizon continued training of ResNet-50, ViT-B/16, and ViT-L/16, and pretraining of ResNet-18, where SLORR induces compressibility while introducing less than 8% training overhead. We further evaluate SLORR-Hoyer in LLM pretraining at 135M and 560M scales: SLORR-trained compressed models preserve performance substantially better than unregularized models while adding less than 1% average training overhead.
Abstract（参考訳）: 低ランク因数分解はニューラルネットワークの圧縮に広く用いられているが、現代のモデルでは、高い精度の損失なしに攻撃的因数分解には自然に対応できないことが多い。既存のトレーニングタイムの低ランク正規化器は圧縮性を改善することができるが、しばしば大きな重量行列のSVDが必要であり、モデルアーキテクチャの変更(追加のトレーニング可能なパラメータの導入)、あるいはステートフルなキャッシュ量に依存する。これらの制約に対処するため,我々は,低ランク正規化をイントレーニングするためのシンプルでステートレスなアーキテクチャ保存フレームワークであるSLORRを導入し,Hoyerスペーサリティメトリックと核ノルムに基づく2つの主要な変種をインスタンス化する。 SLORRは、正規化器の前後通過に対してGPUフレンドリな近似を用いて、元の重み行列を直接正規化し、近似保証を提供する。我々はまず,画像Net-1K上のSLORRをResNet-50,ViT-B/16,ViT-L/16の継続トレーニングとResNet-18の事前トレーニングで評価し,SLORRは8%未満のトレーニングオーバーヘッドを導入しながら圧縮性を誘導する。 SLORR訓練された圧縮モデルは、平均トレーニングオーバーヘッドを1%以下に抑えながら、非正規化モデルよりも性能を著しく向上させる。

関連論文リスト

Stabilizing Native Low-Rank LLM Pretraining [24.2079184778031]
低ランク要因化は、トレーニングと推論コストを削減するための有望なルートを提供する。我々は,Large Language Models (LLMs) を低ランクの分解量でスクラッチからトレーニングできることを実証した。提案手法は,過度なオーバーヘッドを伴って,安定したエンドツーエンドのファクタライズトレーニングを可能にする。
論文参考訳（メタデータ） (2026-02-12T21:33:14Z)
The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
論文参考訳（メタデータ） (2025-10-03T09:02:33Z)
Smooth Model Compression without Fine-Tuning [14.381101636079872]
ニューラルネットワークのトレーニングとモデル圧縮に対するスムーズな正規化の影響について検討する。その結果,スムーズなモデルに適用した場合,標準的な刈り取り方式の方がよくなることがわかった。我々の手法は、微調整なしで最先端の圧縮を可能にする。
論文参考訳（メタデータ） (2025-05-30T11:13:48Z)
AdaptSR: Low-Rank Adaptation for Efficient and Scalable Real-World Super-Resolution [50.584551250242235]
AdaptSRは、現実世界のタスクにバイキュービックトレーニングされたSRモデルを効率的に再利用する低ランク適応フレームワークである。実験の結果,AdaptSRはPSNRで最大4dB,実際のSRベンチマークで2%,GAN法と拡散型SR法より優れていた。
論文参考訳（メタデータ） (2025-03-10T18:03:18Z)
Stochastic Rounding for LLM Training: Theory and Practice [15.071158535119539]
ラウンドリング(SR)を利用して,低精度表現による数値誤差に対処する。最大6.7Bパラメータの事前学習モデルによる実験結果から, SR戦略を用いたBF16が, 混合精度戦略(BF16, FP32)より優れていることが示された。
論文参考訳（メタデータ） (2025-02-27T22:08:08Z)
Training Neural Networks from Scratch with Parallel Low-Rank Adapters [46.764982726136054]
計算ノード間の複数の低ランクヘッドの並列トレーニングを実現するために設計された,新しい双方向最適化アルゴリズムである LoRA-the-Explorer (LTE) を導入する。我々のアプローチには、様々なビジョンデータセットを用いたビジョントランスフォーマーの広範な実験が含まれており、LTEが標準の事前トレーニングと競合していることが示されている。
論文参考訳（メタデータ） (2024-02-26T18:55:13Z)
Maestro: Uncovering Low-Rank Structures via Trainable Decomposition [15.254107731735553]
近年、ディープニューラルネットワーク(DNN)はAIのブレークスルーの大きな要因となっている。より正確で安全になるにつれて、ますます大きなものになってきています。つまり、トレーニングはますますコストと時間がかかります。トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。
論文参考訳（メタデータ） (2023-08-28T23:08:15Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Enabling Retrain-free Deep Neural Network Pruning using Surrogate Lagrangian Relaxation [2.691929135895278]
サロゲート・ラグランジアン・リラクゼーション(SLR)に基づく体系的な軽量化最適化手法を開発。 SLRは、同じ精度で最先端技術よりも高い圧縮率を達成する。再学習の予算が限られているため,本手法はモデル精度を迅速に回復する。
論文参考訳（メタデータ） (2020-12-18T07:17:30Z)
Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。