論文の概要: Q3R: Quadratic Reweighted Rank Regularizer for Effective Low-Rank Training

• arxiv url: http://arxiv.org/abs/2511.04485v1
• Date: Thu, 06 Nov 2025 16:05:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.49113
• Title: Q3R: Quadratic Reweighted Rank Regularizer for Effective Low-Rank Training
• Title（参考訳）: Q3R: 効果的な低ランクトレーニングのための2次リフレッシュランク正規化器
• Authors: Ipsita Ghosh, Ethan Nguyen, Christian Kümmerle,
• Abstract要約: 反復再重み付き最小二乗(IRLS)フレームワークに着想を得た低ランク誘導学習戦略を提案する。 Q3Rは、高密度モデルと同等の予測性能を達成するモデルの所定の低い目標ランクで重量行列を訓練することができる。 Q3Rの有効性は、低ランクの微調整を含む、画像および言語タスクのトランスフォーマー上で確認される。
• 参考スコア（独自算出の注目度）: 8.411385346896411
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Parameter-efficient training, based on low-rank optimization, has become a highly successful tool for fine-tuning large deep-learning models. However, these methods fail at low-rank pre-training tasks where maintaining the low-rank structure and the objective remains a challenging task. We propose the Quadratic Reweighted Rank Regularizer dubbed Q3R, which leads to a novel low-rank inducing training strategy inspired by the iteratively reweighted least squares (IRLS) framework. Q3R is based on a quadratic regularizer term which majorizes a smoothed log determinant serving as rank surrogate objective. Unlike other low-rank training techniques, Q3R is able to train weight matrices with prescribed, low target ranks of models that achieve comparable predictive performance as dense models, with small computational overhead, while remaining fully compatible with existing architectures. For example, we demonstrated one experiment where we are able to truncate $60\%$ and $80\%$ of the parameters of a ViT-Tiny model with $~1.3\%$ and $~4\%$ accuracy drop in CIFAR-10 performance respectively. The efficacy of Q3R is confirmed on Transformers across both image and language tasks, including for low-rank fine-tuning.
• Abstract（参考訳）: 低ランク最適化に基づくパラメータ効率のトレーニングは、大規模なディープラーニングモデルを微調整するツールとして成功している。 しかし、これらの手法は、低ランク構造を維持し、目的が困難な課題であるような、低ランク事前訓練タスクでは失敗する。 本稿では、Q3Rと呼ばれる準重み付きランク正規化器を提案する。これは、反復重み付き最小二乗(IRLS)フレームワークに着想を得た、新しい低ランク誘導訓練戦略をもたらす。 Q3Rは2次正則化項に基づいており、この項はスムーズなログ行列式をランクサロゲートの目的として用いている。 他の低ランクのトレーニング技術とは異なり、Q3Rは、既存のアーキテクチャと完全に互換性を持ちながら、計算オーバーヘッドが小さく、密度の高いモデルと同等に予測性能が得られるような、所定の目標の低いモデルで重量行列を訓練することができる。 例えば、60 %$と80 %$のViT-Tinyモデルのパラメータをそれぞれ$~1.3 %$と$~4 %$のCIFAR-10の精度低下で切り落す実験を行った。 Q3Rの有効性は、低ランクの微調整を含む、画像および言語タスクのトランスフォーマー上で確認される。

関連論文リスト

• Dynamic Rank Adjustment for Accurate and Efficient Neural Network Training [6.601283320267934]
  我々は,低ランクトレーニングエポック内のフルランクトレーニングエポックを戦略的にインターリーブすることで,モデルの重みのランクを効果的に回復できると主張している。 実験により,提案手法はSVDベースの低ランクトレーニングとほぼ同等の計算コストを実現することが示された。
  論文  参考訳（メタデータ） (2025-08-12T04:30:52Z)
• Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
  Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。 テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。 特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
  論文  参考訳（メタデータ） (2025-06-21T21:49:02Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• Cuttlefish: Low-Rank Model Training without All the Tuning [55.984294012024755]
  自動低ランクトレーニングアプローチであるCuttlefishを紹介します。 カトルフィッシュは、すべての階層の安定したランクが収束すると、フルランクからローランクのトレーニングに切り替える。 以上の結果から,Cuttlefishはフルランクモデルの最大5.6倍のモデルを生成し,エンドツーエンドのトレーニングプロセスの最大1.2倍の高速化を実現している。
  論文  参考訳（メタデータ） (2023-05-04T04:20:20Z)
• Surrogate Lagrangian Relaxation: A Path To Retrain-free Deep Neural Network Pruning [9.33753001494221]
  ネットワークプルーニングは、ディープニューラルネットワークの計算コストとモデルサイズの削減に広く用いられている手法である。 本稿では,サロゲートラグランジアン緩和に基づく体系的な重み付け最適化手法を開発する。
  論文  参考訳（メタデータ） (2023-04-08T22:48:30Z)
• A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness [11.35810118757863]
  クリーンかつ逆摂動画像上でのSOTA(State-of-the-art)性能を実現する既存のモデルは、FiLM(Feature-wise linear modulation)層を条件とした畳み込み操作に依存している。 既存のFiLMベースの条件付けの代わりに、付加層を必要としない独特な重み付き学習を行うFLOATアルゴリズムを提案する。 特に、重みテンソルにスケールドノイズを加え、クリーンな性能と対向的な性能のトレードオフを可能にする。
  論文  参考訳（メタデータ） (2022-03-28T19:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。