論文の概要: Matrix Calculus (for Machine Learning and Beyond)

• arxiv url: http://arxiv.org/abs/2501.14787v1
• Date: Tue, 07 Jan 2025 18:38:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-02 08:51:05.267402
• Title: Matrix Calculus (for Machine Learning and Beyond)
• Title（参考訳）: マトリックス計算(機械学習とそれ以上)
• Authors: Paige Bright, Alan Edelman, Steven G. Johnson,
• Abstract要約: このコースはより一般的なベクトル空間上の函数への微分積分の拡張を導入する。 大規模最適化や機械学習といった実用的な計算応用を強調している。
• 参考スコア（独自算出の注目度）: 0.2647285178819813
• License:
• Abstract: This course, intended for undergraduates familiar with elementary calculus and linear algebra, introduces the extension of differential calculus to functions on more general vector spaces, such as functions that take as input a matrix and return a matrix inverse or factorization, derivatives of ODE solutions, and even stochastic derivatives of random functions. It emphasizes practical computational applications, such as large-scale optimization and machine learning, where derivatives must be re-imagined in order to be propagated through complicated calculations. The class also discusses efficiency concerns leading to "adjoint" or "reverse-mode" differentiation (a.k.a. "backpropagation"), and gives a gentle introduction to modern automatic differentiation (AD) techniques.
• Abstract（参考訳）: このコースは、初等計算と線型代数に精通した学部生を対象としており、行列を入力として行列の逆数や因子化を返す関数、ODE解の微分、さらにはランダム関数の確率微分など、より一般的なベクトル空間上の函数への微分計算の拡張を導入している。 大規模な最適化や機械学習のような実用的な計算応用に重点を置いており、複雑な計算によって導出するために微分を再想像する必要がある。 また、「随伴(adjoint)」や「逆モード(reverse-mode)」の分化につながる効率上の懸念(backpropagation)についても論じ、近代的自動微分(AD)技術について穏やかに紹介する。

関連論文リスト

• Spectral-factorized Positive-definite Curvature Learning for NN Training [39.296923519945814]
  Adam(W) や Shampoo のような訓練手法は正定値の曲率行列を学習し、プレコンディショニングの前に逆根を適用する。 スペクトル分解正定曲率推定を動的に適用するリーマン最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:07:04Z)
• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• A Physics-Informed Machine Learning Approach for Solving Distributed Order Fractional Differential Equations [0.0]
  本稿では,物理インフォームド機械学習フレームワークを用いた分散次分数差分方程式の解法を提案する。 分散階関数式をSVRフレームワークに組み込むことで、物理法則を直接学習プロセスに組み込む。 提案手法の有効性は,Caputo-based distributed-order fractional differential equationsの数値実験を通じて検証した。
  論文  参考訳（メタデータ） (2024-09-05T13:20:10Z)
• CoLA: Exploiting Compositional Structure for Automatic and Efficient Numerical Linear Algebra [62.37017125812101]
  機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。 線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。 偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
  論文  参考訳（メタデータ） (2023-09-06T14:59:38Z)
• Efficient and Sound Differentiable Programming in a Functional Array-Processing Language [4.1779847272994495]
  自動微分 (AD) はプログラムで表される関数の微分を計算する手法である。 本稿では,高次関数型配列処理言語のためのADシステムを提案する。 フォワードモードADによる計算は、逆モードと同じくらい効率的に行うことができる。
  論文  参考訳（メタデータ） (2022-12-20T14:54:47Z)
• Combinatory Adjoints and Differentiation [0.0]
  機能解析におけるカテゴリー構造に基づく自動的および記号的微分のための構成的アプローチを開発する。 本稿では,線形関数を生成する微分計算を用いて,記号的および自動微分が可能であることを示す。 また、行列を使わずに微分の随伴を記号的に計算する計算も提供する。
  論文  参考訳（メタデータ） (2022-07-02T14:34:54Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Automatic Differentiation in ROOT [62.997667081978825]
  数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。 本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
  論文  参考訳（メタデータ） (2020-04-09T09:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。