論文の概要: A tutorial on automatic differentiation with complex numbers
- arxiv url: http://arxiv.org/abs/2409.06752v2
- Date: Fri, 11 Oct 2024 16:05:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 22:05:05.597962
- Title: A tutorial on automatic differentiation with complex numbers
- Title（参考訳）: 複素数による自動微分に関するチュートリアル
- Authors: Nicholas Krämer,
- Abstract要約: このチュートリアルは、ユーザーや開発者にとっても、カスタムのグラデーション伝搬ルールを実装する際に、複雑な値を真剣に扱うための呼び出しである。
本稿では,複素数を用いた前方・逆モード自動微分について検討する。
- 参考スコア（独自算出の注目度）: 6.0735728088312175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic differentiation is everywhere, but there exists only minimal documentation of how it works in complex arithmetic beyond stating "derivatives in $\mathbb{C}^d$" $\cong$ "derivatives in $\mathbb{R}^{2d}$" and, at best, shallow references to Wirtinger calculus. Unfortunately, the equivalence $\mathbb{C}^d \cong \mathbb{R}^{2d}$ becomes insufficient as soon as we need to derive custom gradient rules, e.g., to avoid differentiating "through" expensive linear algebra functions or differential equation simulators. To combat such a lack of documentation, this article surveys forward- and reverse-mode automatic differentiation with complex numbers, covering topics such as Wirtinger derivatives, a modified chain rule, and different gradient conventions while explicitly avoiding holomorphicity and the Cauchy--Riemann equations (which would be far too restrictive). To be precise, we will derive, explain, and implement a complex version of Jacobian-vector and vector-Jacobian products almost entirely with linear algebra without relying on complex analysis or differential geometry. This tutorial is a call to action, for users and developers alike, to take complex values seriously when implementing custom gradient propagation rules -- the manuscript explains how.
- Abstract（参考訳）: 自動微分は至る所にあるが、複雑な算術においてどのように機能するかに関する最小限の文書は、「$\mathbb{C}^d$」$\cong$「$\mathbb{R}^{2d}$の微分」や、Wirtinger calculusへの浅い参照」以上のものしか存在しない。
残念なことに、値 $\mathbb{C}^d \cong \mathbb{R}^{2d}$ は、高額な線型代数関数や微分方程式シミュレータの微分を避けるために、カスタム勾配規則を導出する必要があるとすぐに不足する。
このような文書の欠如に対処するため、この記事では、複素数による前方および逆モードの自動微分を調査し、正則性やコーシー-リーマン方程式を明示的に避けながら、ウィッティンガー微分、修正鎖則、異なる勾配規則などのトピックをカバーした。
正確には、複素解析や微分幾何学に頼らずに、ほとんど完全に線型代数を持つヤコビ-ベクトル積とベクトル-ヤコビ積の複素バージョンを導出し、説明し、実装する。
このチュートリアルは、ユーザや開発者にとっても、カスタムのグラデーション伝搬ルールを実装する際に、複雑な値を真剣に取るためのアクションを呼びます。
関連論文リスト
- Learning sum of diverse features: computational hardness and efficient gradient-based training for ridge combinations [40.77319247558742]
目的関数 $f_*:mathbbRdtomathbbR$ を加法構造で学習する際の計算複雑性について検討する。
2層ニューラルネットワークの勾配学習により,$f_*$の大規模なサブセットを効率的に学習できることを実証した。
論文 参考訳（メタデータ） (2024-06-17T17:59:17Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Tempered Calculus for ML: Application to Hyperbolic Model Embedding [70.61101116794549]
MLで使用されるほとんどの数学的歪みは、本質的に自然界において積分的である。
本稿では,これらの歪みを改善するための基礎的理論とツールを公表し,機械学習の要件に対処する。
我々は、最近MLで注目を集めた問題、すなわち、ハイパーボリック埋め込みを「チープ」で正確なエンコーディングで適用する方法を示す。
論文 参考訳（メタデータ） (2024-02-06T17:21:06Z) - Learning Polynomial Problems with $SL(2,\mathbb{R})$ Equivariance [6.5783892500847205]
ニューラルネットワークは、高精度を維持しつつ、10倍のスピードアップを実現し、データ駆動方式で効果的に問題を解決することができることを示す。
これらの学習問題は、領域保存線形変換からなる非コンパクト群 $SL(2,mathbbR)$ に同値である。
論文 参考訳（メタデータ） (2023-12-04T18:59:19Z) - Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳（メタデータ） (2023-07-24T14:37:22Z) - Learning High-Dimensional Nonparametric Differential Equations via
Multivariate Occupation Kernel Functions [0.31317409221921133]
通常の微分方程式の非パラメトリック系を学ぶには、$d$変数の$d$関数を学ぶ必要がある。
明示的な定式化は、スパーシティや対称性といったシステム特性に関する追加の知識が得られない限り、$d$で2次的にスケールする。
本稿では,ベクトル値の再現Kernel Hilbert Spacesによる暗黙の定式化を用いた線形学習手法を提案する。
論文 参考訳（メタデータ） (2023-06-16T21:49:36Z) - Manifold Free Riemannian Optimization [4.484251538832438]
滑らかな多様体 $mathcalM$ を用いて最適化問題を解くための原理的枠組みを提案する。
代数学M におけるコスト関数 $(x_i, y_i) の雑音のないサンプル集合 mathbbR$ と多様体 $mathcalM$ の固有次元を用いる。
論文 参考訳（メタデータ） (2022-09-07T16:19:06Z) - Automatic differentiation for Riemannian optimization on low-rank matrix
and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。
低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文 参考訳（メタデータ） (2021-03-27T19:56:00Z) - High-Dimensional Gaussian Process Inference with Derivatives [90.8033626920884]
低データ状態の$ND$では、Gram行列は$mathcalO(N2D + (N2)3)$に推論のコストを下げる方法で分解できることを示す。
最適化や予測勾配を持つハミルトニアンモンテカルロなど、機械学習に関連する様々なタスクでこの可能性を実証する。
論文 参考訳（メタデータ） (2021-02-15T13:24:41Z) - Multiscale regression on unknown manifolds [13.752772802705978]
マルチスケールで$mathcalM$に低次元座標を構築し、ローカルフィッティングによるマルチスケール回帰を行います。
本手法の一般化誤差を,事前のリッチクラス上で高い確率で有限サンプル境界を証明することによって解析する。
私たちのアルゴリズムは、サンプルサイズの準線形複雑性を持ち、定数は$D$で、指数は$d$です。
論文 参考訳（メタデータ） (2021-01-13T15:14:31Z) - Automatic Differentiation in ROOT [62.997667081978825]
数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。
本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
論文 参考訳（メタデータ） (2020-04-09T09:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。