論文の概要: An Overview of Low-Rank Structures in the Training and Adaptation of Large Models

• arxiv url: http://arxiv.org/abs/2503.19859v1
• Date: Tue, 25 Mar 2025 17:26:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:50:51.844581
• Title: An Overview of Low-Rank Structures in the Training and Adaptation of Large Models
• Title（参考訳）: 大規模モデルの訓練・適応における低ランク構造の概要
• Authors: Laura Balzano, Tianjiao Ding, Benjamin D. Haeffele, Soo Min Kwon, Qing Qu, Peng Wang, Zhangyang Wang, Can Yaras,
• Abstract要約: 近年の研究では、低ランク構造の出現というディープネットワークの広範な現象が明らかになった。 これらの暗黙の低次元パターンは、トレーニングの効率と微調整された大規模モデルを改善するための貴重な洞察を提供する。 深層学習のための低ランク構造の利用の進歩を概観し,その数学的基礎に光を当てる。
• 参考スコア（独自算出の注目度）: 52.67110072923365
• License:
• Abstract: The rise of deep learning has revolutionized data processing and prediction in signal processing and machine learning, yet the substantial computational demands of training and deploying modern large-scale deep models present significant challenges, including high computational costs and energy consumption. Recent research has uncovered a widespread phenomenon in deep networks: the emergence of low-rank structures in weight matrices and learned representations during training. These implicit low-dimensional patterns provide valuable insights for improving the efficiency of training and fine-tuning large-scale models. Practical techniques inspired by this phenomenon, such as low-rank adaptation (LoRA) and training, enable significant reductions in computational cost while preserving model performance. In this paper, we present a comprehensive review of recent advances in exploiting low-rank structures for deep learning and shed light on their mathematical foundations. Mathematically, we present two complementary perspectives on understanding the low-rankness in deep networks: (i) the emergence of low-rank structures throughout the whole optimization dynamics of gradient and (ii) the implicit regularization effects that induce such low-rank structures at convergence. From a practical standpoint, studying the low-rank learning dynamics of gradient descent offers a mathematical foundation for understanding the effectiveness of LoRA in fine-tuning large-scale models and inspires parameter-efficient low-rank training strategies. Furthermore, the implicit low-rank regularization effect helps explain the success of various masked training approaches in deep neural networks, ranging from dropout to masked self-supervised learning.
• Abstract（参考訳）: ディープラーニングの台頭は、信号処理と機械学習におけるデータ処理と予測に革命をもたらしたが、現代の大規模深層モデルの訓練と展開のかなりの計算要求は、高い計算コストとエネルギー消費を含む重要な課題を呈している。 近年の研究では、重量行列における低ランク構造の出現や、トレーニング中に学習された表現など、ディープネットワークの広範な現象が明らかになった。 これらの暗黙の低次元パターンは、トレーニングの効率と微調整された大規模モデルを改善するための貴重な洞察を提供する。 ローランク適応(LoRA)やトレーニングのようなこの現象にインスパイアされた実践的手法は、モデル性能を保ちながら計算コストを大幅に削減することができる。 本稿では,近年の低ランク構造を利用した深層学習の進歩を概観し,その数学的基礎に光を当てる。 数学的には、深層ネットワークにおける低ランク性を理解するための2つの補完的な視点を示す。 一 勾配及び勾配の最適化力学全体の低ランク構造の出現 (ii) 収束時にそのような低ランク構造を誘導する暗黙の正則化効果。 実践的な観点からは、勾配降下の低ランク学習力学の研究は、微調整された大規模モデルにおけるLoRAの有効性を理解するための数学的基礎を提供し、パラメータ効率の低いトレーニング戦略を刺激する。 さらに、暗黙の低ランク正規化効果は、ドロップアウトからマスク付き自己教師付き学習まで、ディープニューラルネットワークにおけるマスク付きトレーニングアプローチの成功を説明するのに役立つ。

関連論文リスト

• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• A Riemannian Framework for Learning Reduced-order Lagrangian Dynamics [18.151022395233152]
  本稿では,物理的に整合した低次動的パラメータを学習するための新しい幾何学的ネットワークアーキテクチャを提案する。 本手法は,剛性および変形性システムの高次元力学の高精度な長期予測を可能にする。
  論文  参考訳（メタデータ） (2024-10-24T15:53:21Z)
• Deep Learning for Koopman Operator Estimation in Idealized Atmospheric Dynamics [2.2489531925874013]
  ディープラーニングは、気象予報に革命をもたらしており、新しいデータ駆動モデルは、中期予測のための運用物理モデルと同等の精度を達成している。 これらのモデルは解釈可能性に欠けることが多く、基礎となる力学を理解するのが難しく、説明が難しい。 本稿では、データ駆動モデルの透明性を高めるために、複雑な非線形力学の線形表現を提供するクープマン作用素を推定する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-10T13:56:54Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Backpropagation-free Training of Deep Physical Neural Networks [0.0]
  我々は「モデルフリーフォワードトレーニング」と呼ばれる生物学的に妥当な学習アルゴリズムによって強化された単純なディープニューラルネットワークアーキテクチャを提案する。 本手法は,トレーニング速度の向上,デジタル計算の削減,物理システムにおける消費電力の削減などにより,最先端のハードウェア・アウェアトレーニング手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T14:02:49Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models [0.0]
  本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。 我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。 これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
  論文  参考訳（メタデータ） (2020-12-02T16:02:14Z)
• Deep learning of contagion dynamics on complex networks [0.0]
  本稿では,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングに基づく補完的アプローチを提案する。 任意のネットワーク構造をシミュレーションすることで,学習したダイナミックスの性質を学習データを超えて探索することが可能になる。 この結果は,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングが新たな補完的な視点を提供することを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。