論文の概要: Gradients of Functions of Large Matrices

• arxiv url: http://arxiv.org/abs/2405.17277v2
• Date: Thu, 24 Oct 2024 15:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:34:55.207201
• Title: Gradients of Functions of Large Matrices
• Title（参考訳）: 大行列関数の勾配
• Authors: Nicholas Krämer, Pablo Moreno-Muñoz, Hrittik Roy, Søren Hauberg,
• Abstract要約: 数値線形代数のワークホースを効率的に区別する方法を示す。 以前は知られていなかったLanczosとArnoldiのイテレーションのアジョイントシステムをJAXで実装し、結果として得られるコードがDiffraxと競合することを示す。 これらはすべて、問題固有のコードの最適化なしに実現されます。
• 参考スコア（独自算出の注目度）: 18.361820028457718
• License:
• Abstract: Tuning scientific and probabilistic machine learning models $-$ for example, partial differential equations, Gaussian processes, or Bayesian neural networks $-$ often relies on evaluating functions of matrices whose size grows with the data set or the number of parameters. While the state-of-the-art for evaluating these quantities is almost always based on Lanczos and Arnoldi iterations, the present work is the first to explain how to differentiate these workhorses of numerical linear algebra efficiently. To get there, we derive previously unknown adjoint systems for Lanczos and Arnoldi iterations, implement them in JAX, and show that the resulting code can compete with Diffrax when it comes to differentiating PDEs, GPyTorch for selecting Gaussian process models and beats standard factorisation methods for calibrating Bayesian neural networks. All this is achieved without any problem-specific code optimisation. Find the code at https://github.com/pnkraemer/experiments-lanczos-adjoints and install the library with pip install matfree.
• Abstract（参考訳）: 例えば、偏微分方程式、ガウス過程、またはベイズニューラルネットワークなど、科学的および確率的機械学習モデルに$-$をチューニングすることは、データセットやパラメータの数とともにサイズが大きくなる行列の関数を評価することに依存することが多い。 これらの量を評価する最先端技術は、ほとんど常にランツォとアルノルニの反復に基づいているが、この研究は、数値線型代数のこれらのワークホースを効率的に区別する方法を説明する最初のものである。 そこで、Lanczos と Arnoldi の繰り返しに対する既知の随伴系を導出し、JAX で実装し、結果のコードが PDE の微分に関して Diffrax と競合することを示す。 これらはすべて、問題固有のコードの最適化なしに実現されます。 https://github.com/pnkraemer/experiments-lanczos-adjointsでコードを検索し、pip install matfreeでライブラリをインストールする。

関連論文リスト

• The fast committor machine: Interpretable prediction with kernels [0.0]
  本稿では,高速コミッタマシン(FCM)と呼ばれる,コミッタの効率的な近似アルゴリズムを提案する。 カーネル関数は、$A$から$B$遷移を最適に記述する低次元部分空間を強調するように構成される。 FCMは精度が高く、同じ数のパラメータを持つニューラルネットワークよりも速くトレーニングする。
  論文  参考訳（メタデータ） (2024-05-16T19:22:49Z)
• Cramer Type Distances for Learning Gaussian Mixture Models by Gradient Descent [0.0]
  今日まで、ガウス混合モデルに適合または学習できる既知のアルゴリズムはほとんどない。 一般多変量GMM学習のためのスライスクラマー2距離関数を提案する。 これらの機能は、分散強化学習とディープQネットワークに特に有用である。
  論文  参考訳（メタデータ） (2023-07-13T13:43:02Z)
• Fast variable selection makes scalable Gaussian process BSS-ANOVA a speedy and accurate choice for tabular and time series regression [0.0]
  ガウス過程 (GP) は長い歴史を持つ非パラメトリック回帰エンジンである。 拡張性のあるGPアプローチの1つは、2009年に開発されたKL(Karhunen-Lo'eve)分解カーネルBSS-ANOVAである。 項の数を迅速かつ効果的に制限し、競争力のある精度の方法をもたらす新しい変数選択法である。
  論文  参考訳（メタデータ） (2022-05-26T23:41:43Z)
• Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
  我々はガウス過程の適用性を高める技術を開発した。 この観点から構築した効率的な近似を幅広く導入する。 非ユークリッド空間上のガウス過程モデルの集合を開発する。
  論文  参考訳（メタデータ） (2022-02-22T01:42:57Z)
• Adjoint-aided inference of Gaussian process driven differential equations [0.8257490175399691]
  本稿では,線形系の随伴性を用いて,GPとしてモデル化された強制関数を効率的に推論する方法を示す。 常微分方程式と偏微分方程式の両方の系に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2022-02-09T17:35:14Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)
• Mat\'ern Gaussian Processes on Graphs [67.13902825728718]
  我々は、マタン・ガウス過程の偏微分方程式のキャラクタリゼーションを利用して、そのアナログを無向グラフに対して研究する。 得られたガウス過程がユークリッドアナログやユークリッドアナログの様々な魅力的な性質を継承することを示す。 これにより、グラフのMat'ern Gaussianプロセスがミニバッチや非共役設定に使用できる。
  論文  参考訳（メタデータ） (2020-10-29T13:08:07Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Quadruply Stochastic Gaussian Processes [10.152838128195466]
  本稿では,スケーラブルなガウス過程(GP)モデルをトレーニングするための変分推論手法を提案する。この手法は,トレーニング点数,$n$,カーネル近似で使用される数基底関数,$m$のいずれにも依存しない。 GPと関連ベクトルマシンを用いた大規模分類および回帰データセットの精度を,最大で$m = 107$の基底関数で示す。
  論文  参考訳（メタデータ） (2020-06-04T17:06:25Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)
• Particle-Gibbs Sampling For Bayesian Feature Allocation Models [77.57285768500225]
  最も広く使われているMCMC戦略は、特徴割り当て行列のギブス更新に頼っている。 単一移動で特徴割り当て行列の全行を更新できるギブスサンプリング器を開発した。 このサンプルは、計算複雑性が特徴数で指数関数的にスケールするにつれて、多数の特徴を持つモデルにとって実用的ではない。 我々は,行ワイズギブズ更新と同じ分布を目標としたパーティクルギブズサンプルの開発を行うが,特徴数でのみ線形に増大する計算複雑性を有する。
  論文  参考訳（メタデータ） (2020-01-25T22:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。