論文の概要: COALA: Numerically Stable and Efficient Framework for Context-Aware Low-Rank Approximation

• arxiv url: http://arxiv.org/abs/2507.07580v1
• Date: Thu, 10 Jul 2025 09:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.341078
• Title: COALA: Numerically Stable and Efficient Framework for Context-Aware Low-Rank Approximation
• Title（参考訳）: COALA:コンテキスト対応低ランク近似のための数値的安定かつ効率的なフレームワーク
• Authors: Uliana Parkina, Maxim Rakhuba,
• Abstract要約: コンテキスト対応低ランク近似は、現代の大規模ニューラルネットワークの圧縮と微調整に有用なツールである。 既存のニューラルネットワークの手法は、明示的なグラム行列計算とその後の反転を含む古典的な公式に依存しているため、数値的な不安定さに悩まされている。 本稿では, 完全に安定な分解を基礎として, 先行技術における数値的な落とし穴を克服する, 新たな逆フリー正規化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies suggest that context-aware low-rank approximation is a useful tool for compression and fine-tuning of modern large-scale neural networks. In this type of approximation, a norm is weighted by a matrix of input activations, significantly improving metrics over the unweighted case. Nevertheless, existing methods for neural networks suffer from numerical instabilities due to their reliance on classical formulas involving explicit Gram matrix computation and their subsequent inversion. We demonstrate that this can degrade the approximation quality or cause numerically singular matrices. To address these limitations, we propose a novel inversion-free regularized framework that is based entirely on stable decompositions and overcomes the numerical pitfalls of prior art. Our method can handle possible challenging scenarios: (1) when calibration matrices exceed GPU memory capacity, (2) when input activation matrices are nearly singular, and even (3) when insufficient data prevents unique approximation. For the latter, we prove that our solution converges to a desired approximation and derive explicit error bounds.
• Abstract（参考訳）: 近年の研究では、コンテキスト対応の低ランク近似が、現代の大規模ニューラルネットワークの圧縮と微調整に有用なツールであることが示唆されている。 この種の近似では、ノルムは入力アクティベーションの行列によって重み付けされ、未重み付きの場合よりも格段に改善される。 それでも、ニューラルネットワークの既存の手法は、明示的なグラム行列計算とその後の反転を含む古典的な公式に依存しているため、数値的な不安定さに悩まされている。 これは近似品質を低下させるか、数値的に特異な行列を生じることを実証する。 これらの制約に対処するため、我々は、完全に安定な分解を基盤とし、先行技術の数値的な落とし穴を克服する、新しい反転のない正規化フレームワークを提案する。 我々は,(1)キャリブレーション行列がGPUメモリ容量を超える場合,(2)入力アクティベーション行列がほぼ特異である場合,(3)データ不足がユニークな近似を妨げている場合,といった,困難なシナリオを扱うことができる。 後者については、我々の解が所望の近似に収束し、明示的な誤差境界を導出することを証明する。

関連論文リスト

• Computational Efficient and Minimax Optimal Nonignorable Matrix Completion [2.2306682526405868]
  一般化された非無視的欠落機構に対して,核ノルム正規化行および列ワイズ行列U統計損失関数を提案する。 提案手法は,既存手法に匹敵する計算効率を実現する。
  論文  参考訳（メタデータ） (2025-04-05T01:41:53Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Expressing linear equality constraints in feedforward neural networks [9.918927210224165]
  制約が課される予測補助変数を持つ新しいサドル点ラグランジアンを導入する。 補助変数の除去は、線形制約を満たすために導入されたラグランジュ乗算器上の双対最小化問題につながる。 ラグランジュパラメータの驚くべき解釈は、制約から生じる固定重みを持つ無限層隠蔽単位として得られる。
  論文  参考訳（メタデータ） (2022-11-08T17:39:05Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Low-Rank Matrix Recovery with Scaled Subgradient Methods: Fast and Robust Convergence Without the Condition Number [34.0533596121548]
  データ科学における多くの問題は、高度に不完全で、時には腐敗した観測から低いランクを推定するものとして扱われる。 1つの一般的なアプローチは行列分解に頼り、低ランク行列因子は滑らかな損失に対して一階法によって最適化される。
  論文  参考訳（メタデータ） (2020-10-26T06:21:14Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent [34.0533596121548]
  低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
  論文  参考訳（メタデータ） (2020-05-18T17:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。