論文の概要: Q3R: Quadratic Reweighted Rank Regularizer for Effective Low-Rank Training

• arxiv url: http://arxiv.org/abs/2511.04485v1
• Date: Thu, 06 Nov 2025 16:05:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.49113
• Title: Q3R: Quadratic Reweighted Rank Regularizer for Effective Low-Rank Training
• Title（参考訳）: Q3R: 効果的な低ランクトレーニングのための2次リフレッシュランク正規化器
• Authors: Ipsita Ghosh, Ethan Nguyen, Christian Kümmerle,
• Abstract要約: 反復再重み付き最小二乗(IRLS)フレームワークに着想を得た低ランク誘導学習戦略を提案する。 Q3Rは、高密度モデルと同等の予測性能を達成するモデルの所定の低い目標ランクで重量行列を訓練することができる。 Q3Rの有効性は、低ランクの微調整を含む、画像および言語タスクのトランスフォーマー上で確認される。
• 参考スコア（独自算出の注目度）: 8.411385346896411
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Parameter-efficient training, based on low-rank optimization, has become a highly successful tool for fine-tuning large deep-learning models. However, these methods fail at low-rank pre-training tasks where maintaining the low-rank structure and the objective remains a challenging task. We propose the Quadratic Reweighted Rank Regularizer dubbed Q3R, which leads to a novel low-rank inducing training strategy inspired by the iteratively reweighted least squares (IRLS) framework. Q3R is based on a quadratic regularizer term which majorizes a smoothed log determinant serving as rank surrogate objective. Unlike other low-rank training techniques, Q3R is able to train weight matrices with prescribed, low target ranks of models that achieve comparable predictive performance as dense models, with small computational overhead, while remaining fully compatible with existing architectures. For example, we demonstrated one experiment where we are able to truncate $60\%$ and $80\%$ of the parameters of a ViT-Tiny model with $~1.3\%$ and $~4\%$ accuracy drop in CIFAR-10 performance respectively. The efficacy of Q3R is confirmed on Transformers across both image and language tasks, including for low-rank fine-tuning.
• Abstract（参考訳）: 低ランク最適化に基づくパラメータ効率のトレーニングは、大規模なディープラーニングモデルを微調整するツールとして成功している。 しかし、これらの手法は、低ランク構造を維持し、目的が困難な課題であるような、低ランク事前訓練タスクでは失敗する。 本稿では、Q3Rと呼ばれる準重み付きランク正規化器を提案する。これは、反復重み付き最小二乗(IRLS)フレームワークに着想を得た、新しい低ランク誘導訓練戦略をもたらす。 Q3Rは2次正則化項に基づいており、この項はスムーズなログ行列式をランクサロゲートの目的として用いている。 他の低ランクのトレーニング技術とは異なり、Q3Rは、既存のアーキテクチャと完全に互換性を持ちながら、計算オーバーヘッドが小さく、密度の高いモデルと同等に予測性能が得られるような、所定の目標の低いモデルで重量行列を訓練することができる。 例えば、60 %$と80 %$のViT-Tinyモデルのパラメータをそれぞれ$~1.3 %$と$~4 %$のCIFAR-10の精度低下で切り落す実験を行った。 Q3Rの有効性は、低ランクの微調整を含む、画像および言語タスクのトランスフォーマー上で確認される。

関連論文リスト

• Tail-Aware Post-Training Quantization for 3D Geometry Models [58.79500829118265]
  ポストトレーニング量子化(PTQ)は、再トレーニングなしに効率的な推論を可能にする。 PTQは複雑な特徴分布と禁止キャリブレーションオーバーヘッドのために、3Dモデルに効果的に転送できない。 3次元幾何学学習のためのTail-Aware Post-Training Quantization PipelineであるTAPTQを提案する。
  論文  参考訳（メタデータ） (2026-02-02T07:21:15Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• FLRQ: Faster LLM Quantization with Flexible Low-Rank Matrix Sketching [4.01326804806241]
  Rank1-Sketch-based Flexible Rank Selection (R1-FLR) と Best Low-rank Approximation under Clipping (BLC) を導入する。 R1-FLRは高速な低ランク近似のためにガウス射影を持つR1-Sketchを適用し、各層に対して外向きのランク抽出を可能にする。 BLCは、スケーリングとクリッピング戦略の下での低ランク量子化誤差の最小化を目的としている。
  論文  参考訳（メタデータ） (2026-01-09T10:06:45Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Dynamic Rank Adjustment for Accurate and Efficient Neural Network Training [6.601283320267934]
  我々は,低ランクトレーニングエポック内のフルランクトレーニングエポックを戦略的にインターリーブすることで,モデルの重みのランクを効果的に回復できると主張している。 実験により,提案手法はSVDベースの低ランクトレーニングとほぼ同等の計算コストを実現することが示された。
  論文  参考訳（メタデータ） (2025-08-12T04:30:52Z)
• Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
  Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。 テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。 特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
  論文  参考訳（メタデータ） (2025-06-21T21:49:02Z)
• It Takes a Good Model to Train a Good Model: Generalized Gaussian Priors for Optimized LLMs [15.263422862969803]
  大規模言語モデルのトレーニング時間圧縮アルゴリズムであるBackSlashを導入する。 GGモデルに基づくLLM最適化のための統一エンドツーエンドフレームワークを提案する。 私たちの貢献は3倍です。 DeepShapeは、トレーニング後の正規化手法で、体重分布をGGプロファイルにマッチさせる。 RF8は、GG-distributed-priord BackSlashトレーニング用に設計された、コンパクトでハードウェア効率の良い8ビット浮動小数点演算フォーマットである。
  論文  参考訳（メタデータ） (2025-05-31T09:49:17Z)
• InRank: Incremental Low-Rank Learning [85.6380047359139]
  勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。 既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
  論文  参考訳（メタデータ） (2023-06-20T03:03:04Z)
• Cuttlefish: Low-Rank Model Training without All the Tuning [55.984294012024755]
  自動低ランクトレーニングアプローチであるCuttlefishを紹介します。 カトルフィッシュは、すべての階層の安定したランクが収束すると、フルランクからローランクのトレーニングに切り替える。 以上の結果から,Cuttlefishはフルランクモデルの最大5.6倍のモデルを生成し,エンドツーエンドのトレーニングプロセスの最大1.2倍の高速化を実現している。
  論文  参考訳（メタデータ） (2023-05-04T04:20:20Z)
• Surrogate Lagrangian Relaxation: A Path To Retrain-free Deep Neural Network Pruning [9.33753001494221]
  ネットワークプルーニングは、ディープニューラルネットワークの計算コストとモデルサイズの削減に広く用いられている手法である。 本稿では,サロゲートラグランジアン緩和に基づく体系的な重み付け最適化手法を開発する。
  論文  参考訳（メタデータ） (2023-04-08T22:48:30Z)
• A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness [11.35810118757863]
  クリーンかつ逆摂動画像上でのSOTA(State-of-the-art)性能を実現する既存のモデルは、FiLM(Feature-wise linear modulation)層を条件とした畳み込み操作に依存している。 既存のFiLMベースの条件付けの代わりに、付加層を必要としない独特な重み付き学習を行うFLOATアルゴリズムを提案する。 特に、重みテンソルにスケールドノイズを加え、クリーンな性能と対向的な性能のトレードオフを可能にする。
  論文  参考訳（メタデータ） (2022-03-28T19:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。