論文の概要: Dynamic Rank Adjustment for Accurate and Efficient Neural Network Training

• arxiv url: http://arxiv.org/abs/2508.08625v1
• Date: Tue, 12 Aug 2025 04:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.295158
• Title: Dynamic Rank Adjustment for Accurate and Efficient Neural Network Training
• Title（参考訳）: ニューラルネットワークの高精度かつ効率的なトレーニングのための動的ランク調整
• Authors: Hyuntak Shin, Aecheon Jung, Sunwoo Lee, Sungeun Hong,
• Abstract要約: 我々は,低ランクトレーニングエポック内のフルランクトレーニングエポックを戦略的にインターリーブすることで,モデルの重みのランクを効果的に回復できると主張している。 実験により,提案手法はSVDベースの低ランクトレーニングとほぼ同等の計算コストを実現することが示された。
• 参考スコア（独自算出の注目度）: 9.136268810230858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank training methods reduce the number of trainable parameters by re-parameterizing the weights with matrix decompositions (e.g., singular value decomposition). However, enforcing a fixed low-rank structure caps the rank of the weight matrices and can hinder the model's ability to learn complex patterns. Furthermore, the effective rank of the model's weights tends to decline during training, and this drop is accelerated when the model is reparameterized into a low-rank structure. In this study, we argue that strategically interleaving full-rank training epochs within low-rank training epochs can effectively restore the rank of the model's weights. Based on our findings, we propose a general dynamic-rank training framework that is readily applicable to a wide range of neural-network tasks. We first describe how to adjust the rank of weight matrix to alleviate the inevitable rank collapse that arises during training, and then present extensive empirical results that validate our claims and demonstrate the efficacy of the proposed framework. Our empirical study shows that the proposed method achieves almost the same computational cost as SVD-based low-rank training while achieving a comparable accuracy to full-rank training across various benchmarks.
• Abstract（参考訳）: 低ランクトレーニング法は、行列分解(例:特異値分解)で重みを再パラメータ化することにより、トレーニング可能なパラメータの数を減少させる。 しかし、固定された低ランク構造を強制することは重量行列のランクを覆い、複雑なパターンを学習するモデルの能力を妨げかねない。 さらに、モデルの重みの有効ランクはトレーニング中に低下する傾向にあり、この低下はモデルが低ランク構造に再パラメータ化されるときに加速される。 本研究では,低ランクトレーニングエポック内のフルランクトレーニングエポックを戦略的にインターリーブすることで,モデルの重み付けを効果的に回復することができることを論じる。 そこで本研究では,幅広いニューラルネットワークタスクに容易に適用可能な,一般的な動的ランクトレーニングフレームワークを提案する。 まず、トレーニング中に発生する必然的なランク崩壊を緩和するために、重み行列のランクを調整する方法を説明し、その上で、我々の主張を検証し、提案フレームワークの有効性を実証する広範な実験結果を示す。 実験により,提案手法はSVDに基づく低ランクトレーニングとほぼ同等の計算コストを実現するとともに,各種ベンチマークにおけるフルランクトレーニングに匹敵する精度を達成できることを示した。

関連論文リスト

• AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning [9.51289606759621]
  大規模言語モデル(LLM)の訓練と微調整には、メモリと計算要求に関する課題が伴う。 低ランク適応(LoRA)など、これらの課題に対処する様々な技術が開発されている。 トレーニングが進むにつれて、推定勾配のランクが徐々に低下する現象に着想を得た新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-10-23T13:53:26Z)
• Full-Rank No More: Low-Rank Weight Training for Modern Speech Recognition Models [46.87216968390808]
  本稿では,大規模コンフォーマーに基づく音声認識モデルにおける低ランクウェイトトレーニングの未探索領域をスクラッチから検討する。 注目モジュールのみに低ランク構造を適用すると、予期せぬパフォーマンスが向上する。 フィードフォワード層は、適度な50%のランク低下でパフォーマンス劣化を示すようになり、大きな課題を呈する。
  論文  参考訳（メタデータ） (2024-10-10T09:58:35Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
  本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。 本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
  論文  参考訳（メタデータ） (2024-01-16T17:07:22Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。