Fugu-MT 論文翻訳(概要): A Differential-form Pullback Programming Language for Higher-order Reverse-mode Automatic Differentiation

論文の概要: A Differential-form Pullback Programming Language for Higher-order Reverse-mode Automatic Differentiation

arxiv url: http://arxiv.org/abs/2002.08241v1
Date: Wed, 19 Feb 2020 15:38:03 GMT
ステータス: 処理完了
システム内更新日: 2022-12-30 14:20:10.659422
Title: A Differential-form Pullback Programming Language for Higher-order Reverse-mode Automatic Differentiation
Title（参考訳）: 高次逆モード自動微分のための微分形式プルバック言語
Authors: Carol Mak, Luke Ong
Abstract要約: 第一級微分演算子を持つ単純な高階プログラミング言語を設計する。本手法は, 真に高次条件下での逆モードADを正確に捕捉することを示す。
参考スコア（独自算出の注目度）: 5.076419064097734
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Building on the observation that reverse-mode automatic differentiation (AD) -- a generalisation of backpropagation -- can naturally be expressed as pullbacks of differential 1-forms, we design a simple higher-order programming language with a first-class differential operator, and present a reduction strategy which exactly simulates reverse-mode AD. We justify our reduction strategy by interpreting our language in any differential $\lambda$-category that satisfies the Hahn-Banach Separation Theorem, and show that the reduction strategy precisely captures reverse-mode AD in a truly higher-order setting.
Abstract（参考訳）: バックプロパゲーションの一般化であるリバースモード自動微分(AD)が自然に微分 1-形式の引き戻しとして表現できるという観察に基づいて、第一級微分演算子を持つ単純な高階プログラミング言語を設計し、逆モードADを正確にシミュレートする還元戦略を示す。我々は、Hahn-Banach分離定理を満たす任意の差分$\lambda$-カテゴリで言語を解釈することで、還元戦略を正当化し、還元戦略が真に高階設定で逆モードADを正確にキャプチャすることを示す。

関連論文リスト

Score-Based Variational Inference for Inverse Problems [19.848238197979157]
後部平均値が好ましいアプリケーションでは、時間を要する後部から複数のサンプルを生成する必要がある。後部平均を直接対象とするフレームワークであるリバース平均伝搬(RMP)を確立する。スコア関数を用いて逆KL分散を自然な勾配降下で最適化し,各逆ステップで平均を伝搬するアルゴリズムを開発した。
論文参考訳（メタデータ） (2024-10-08T02:55:16Z)
Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
論文参考訳（メタデータ） (2024-02-03T13:35:39Z)
Predicting Ordinary Differential Equations with Transformers [65.07437364102931]
単一溶液軌道の不規則サンプリングおよび雑音観測から,スカラー常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを開発した。提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たな観測解の法則を推測することができる。
論文参考訳（メタデータ） (2023-07-24T08:46:12Z)
Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文参考訳（メタデータ） (2022-11-30T18:59:27Z)
Partial Least Square Regression via Three-factor SVD-type Manifold Optimization for EEG Decoding [4.0204191666595595]
双グラスマン多様体 (PLSRbiGr) の最適化による部分最小二乗回帰(PLSR)の解法を提案する。 qlPLSRbiGrは、運動画像(MI)における脳波信号を復号する様々な実験と、定常視覚誘発電位(SSVEP)タスクで検証される。
論文参考訳（メタデータ） (2022-08-09T11:57:02Z)
Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文参考訳（メタデータ） (2021-10-24T07:58:13Z)
Decomposing reverse-mode automatic differentiation [7.222232547612573]
逆モード自動微分を (前方モード) 線形化に分解し, その後転位した。これは、JAX と Dex でリバースモード AD を記述する方法です。
論文参考訳（メタデータ） (2021-05-20T02:33:56Z)
VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning [43.96465407127458]
本稿では,組込みの分散に関する単純な正規化項を用いて,崩壊問題を明確に回避する手法であるvicregを紹介する。 VICRegは、いくつかの下流タスクで、アートの状態と同等の結果を得る。
論文参考訳（メタデータ） (2021-05-11T09:53:21Z)
Deriving Differential Target Propagation from Iterating Approximate Inverses [91.3755431537592]
本稿では,各層が学習した逆数に依存するターゲット伝搬の特定の形態が,ガウス-ニュートン勾配に基づく近似最適化に対応する更新規則を導出することを示す。そこで我々は,各層における局所的自動エンコーダに基づく反復計算について検討し,より正確な目標伝搬のインバージョンを実現する。
論文参考訳（メタデータ） (2020-07-29T22:34:45Z)
Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文参考訳（メタデータ） (2020-07-07T10:05:01Z)
Disentangled Representation Learning and Generation with Manifold Optimization [10.69910379275607]
本研究は,変分方向の促進による絡み合いを明確に促進する表現学習フレームワークを提案する。理論的な議論と様々な実験により、提案モデルは、生成品質と非絡み合い表現学習の両方の観点から、多くのVAE変種よりも改善されていることが示された。
論文参考訳（メタデータ） (2020-06-12T10:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。