論文の概要: An Augmented Backward-Corrected Projector Splitting Integrator for Dynamical Low-Rank Training

• arxiv url: http://arxiv.org/abs/2502.03006v1
• Date: Wed, 05 Feb 2025 09:03:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:26:31.019985
• Title: An Augmented Backward-Corrected Projector Splitting Integrator for Dynamical Low-Rank Training
• Title（参考訳）: 動的低ランクトレーニングのための後方補正プロジェクタ分割積分器
• Authors: Jonas Kusch, Steffen Schotthöfer, Alexandra Walter,
• Abstract要約: 必要なQR分解数を削減できる新しい低ランクトレーニング手法を提案する。 提案手法は,プロジェクタ分割方式に拡張ステップを組み込むことにより,局所最適解への収束を確保する。
• 参考スコア（独自算出の注目度）: 47.69709732622765
• License:
• Abstract: Layer factorization has emerged as a widely used technique for training memory-efficient neural networks. However, layer factorization methods face several challenges, particularly a lack of robustness during the training process. To overcome this limitation, dynamical low-rank training methods have been developed, utilizing robust time integration techniques for low-rank matrix differential equations. Although these approaches facilitate efficient training, they still depend on computationally intensive QR and singular value decompositions of matrices with small rank. In this work, we introduce a novel low-rank training method that reduces the number of required QR decompositions. Our approach integrates an augmentation step into a projector-splitting scheme, ensuring convergence to a locally optimal solution. We provide a rigorous theoretical analysis of the proposed method and demonstrate its effectiveness across multiple benchmarks.
• Abstract（参考訳）: レイヤファクタライゼーションは、メモリ効率のよいニューラルネットワークをトレーニングするための広く使われているテクニックとして登場した。 しかし、層分解法は、特に訓練過程における堅牢性の欠如など、いくつかの課題に直面している。 この制限を克服するために、低ランク行列微分方程式に対する堅牢な時間積分技術を利用して、動的低ランクトレーニング法を開発した。 これらのアプローチは効率的なトレーニングを促進するが、計算集約的なQRと小さいランクの行列の特異値分解に依存している。 本研究では,必要なQR分解数を削減できる新しい低ランクトレーニング手法を提案する。 提案手法は,プロジェクタ分割方式に拡張ステップを組み込むことにより,局所最適解への収束を確保する。 提案手法の厳密な理論的解析を行い,その有効性を複数のベンチマークで示す。

関連論文リスト

• Preventing Local Pitfalls in Vector Quantization via Optimal Transport [77.15924044466976]
  我々はシンクホーンアルゴリズムを用いて最適な輸送問題を最適化する新しいベクトル量子化法であるOptVQを紹介する。 画像再構成タスクの実験では,OptVQが100%のコードブック利用を実現し,現在最先端のVQNを超越していることが示された。
  論文  参考訳（メタデータ） (2024-12-19T18:58:14Z)
• Sparse Spectral Training and Inference on Euclidean and Hyperbolic Neural Networks [9.96381061452642]
  SST(Sparse Spectral Training)は、全ての特異値を更新し、ネットワーク重みの特異ベクトルを選択的に更新する高度な訓練手法である。 SSTは、特異値の重み付けによる多項サンプリング法により決定される特異ベクトルに対する目標更新戦略を用いて、トレーニングプロセスを洗練する。 OPT-125Mでは、組込み寸法の8.3%に等しく、SSTはパープレキシティギャップを67.6%減らし、一般的なローランク法で性能損失を著しく低減した。
  論文  参考訳（メタデータ） (2024-05-24T11:59:41Z)
• Alternate Training of Shared and Task-Specific Parameters for Multi-Task Neural Networks [49.1574468325115]
  本稿では,ハードパラメータ共有マルチタスクニューラルネットワーク(MTNN)のための新しい代替トレーニング手法を提案する。 提案した代替トレーニング手法は、モデルのマルチヘッドアーキテクチャを利用して、共有およびタスク固有の重みを交互に更新する。 実証実験では、遅延オーバーフィッティング、予測の改善、計算要求の削減が示されている。
  論文  参考訳（メタデータ） (2023-12-26T21:33:03Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A Memory-Efficient Inverse Problem Solver [26.87738024952936]
  逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。 浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。 これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
  論文  参考訳（メタデータ） (2022-10-10T19:50:37Z)
• Optimization-Derived Learning with Essential Convergence Analysis of Training and Hyper-training [52.39882976848064]
  固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。 GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
  論文  参考訳（メタデータ） (2022-06-16T01:50:25Z)
• Low-rank lottery tickets: finding efficient low-rank neural networks via matrix differential equations [2.3488056916440856]
  効率的なローランクワークを見つけるための新しいアルゴリズムを提案する。 これらの作業は、トレーニングフェーズですでに決定され、適応されています。 本手法は,所望の近似精度を達成するために,訓練中のランクを自動的に動的に適応させる。
  論文  参考訳（メタデータ） (2022-05-26T18:18:12Z)
• Adaptive Learning Rate and Momentum for Training Deep Neural Networks [0.0]
  本研究では,非線形共役勾配(CG)フレームワークによる高速トレーニング手法を開発した。 画像分類データセットの実験により,本手法は他の局所解法よりも高速な収束が得られることが示された。
  論文  参考訳（メタデータ） (2021-06-22T05:06:56Z)
• Practical Convex Formulation of Robust One-hidden-layer Neural Network Training [12.71266194474117]
  本研究では,一層型スカラーアウトプット完全接続型ReLULUニューラルネットワークのトレーニングを,有限次元凸プログラムとして再構成可能であることを示す。 我々は「敵の訓練」問題を効率的に解くために凸最適化手法を導出する。 本手法は二項分類と回帰に応用でき、現在の対角訓練法に代わる手段を提供する。
  論文  参考訳（メタデータ） (2021-05-25T22:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。