Fugu-MT 論文翻訳(概要): Decomposing reverse-mode automatic differentiation

論文の概要: Decomposing reverse-mode automatic differentiation

arxiv url: http://arxiv.org/abs/2105.09469v1
Date: Thu, 20 May 2021 02:33:56 GMT
ステータス: 処理完了
システム内更新日: 2021-05-21 13:25:27.230663
Title: Decomposing reverse-mode automatic differentiation
Title（参考訳）: 逆モード自動微分の分解
Authors: Roy Frostig, Matthew J. Johnson, Dougal Maclaurin, Adam Paszke, Alexey Radul
Abstract要約: 逆モード自動微分を (前方モード) 線形化に分解し, その後転位した。これは、JAX と Dex でリバースモード AD を記述する方法です。
参考スコア（独自算出の注目度）: 7.222232547612573
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We decompose reverse-mode automatic differentiation into (forward-mode) linearization followed by transposition. Doing so isolates the essential difference between forward- and reverse-mode AD, and simplifies their joint implementation. In particular, once forward-mode AD rules are defined for every primitive operation in a source language, only linear primitives require an additional transposition rule in order to arrive at a complete reverse-mode AD implementation. This is how reverse-mode AD is written in JAX and Dex.
Abstract（参考訳）: 逆モードの自動微分を(フォワードモード)線形化に分解し、変換を行う。そうすることで、フォワードモードとリバースモードADの主な違いを分離し、共同実装を単純化する。特に、一度フォワードモードADルールがソース言語のすべてのプリミティブ操作に対して定義されると、完全なリバースモードAD実装に到達するためには、リニアプリミティブのみが追加のトランスポジションルールを必要とする。これは、JAX と Dex でリバースモード AD を記述する方法です。

関連論文リスト

TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets [118.22975463000928]
エージェントが複数の行動ポリシーをロールアウトすることで収集したデータセットから学習する必要があるオフライン強化学習(RL)について考察する。 1) RL信号の最適化と行動クローニング(BC)信号の最適なトレードオフは、異なる行動ポリシーによって引き起こされる行動カバレッジの変化によって異なる状態に変化する。本稿では,TD3アルゴリズムに基づくBC正規化器として,適応重み付き逆KL(Kulback-Leibler)分散を用いることにより,両課題に対処する。
論文参考訳（メタデータ） (2022-12-05T09:36:23Z)
f-DM: A Multi-stage Diffusion Model via Progressive Signal Transformation [56.04628143914542]
拡散モデル(DM)は、最近、様々な領域で生成モデリングを行うためのSoTAツールとして登場した。本稿では、プログレッシブ信号変換が可能なDMの一般化されたファミリであるf-DMを提案する。我々は、ダウンサンプリング、ぼやけ、学習された変換を含む様々な機能を持つ画像生成タスクにf-DMを適用した。
論文参考訳（メタデータ） (2022-10-10T18:49:25Z)
Automatic Differentiation: Theory and Practice [6.85316573653194]
基本原理から始まる行列関数の前方および後方の公式を導出する方法を示す。我々は、実数および複素数の設定において、前方および後方モードの広告に対して古典的な座標自由形式を提示する。
論文参考訳（メタデータ） (2022-07-13T10:39:58Z)
Manifold-Aware Deep Clustering: Maximizing Angles between Embedding Vectors Based on Regular Simplex [11.45476110868809]
多様体対応直流 (M-DC) は, もともとの直流よりも効率よく超空間利用を向上させることができる。本手法は,正規表現の性質に基づいて,超空間の目標角度を最大化することを目的とした一意な損失関数を導出する。
論文参考訳（メタデータ） (2021-06-04T08:27:01Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Fundamental limits and algorithms for sparse linear regression with sublinear sparsity [16.3460693863947]
正規化相互情報の正確な表現と疎線形回帰の最小平均二乗誤差(MMSE)を確立する。本稿では、線形レギュレータに対して、既存のよく知られたAMPアルゴリズムをサブ線形に修正する方法を示す。
論文参考訳（メタデータ） (2021-01-27T01:27:03Z)
A Differentiable Relaxation of Graph Segmentation and Alignment for AMR Parsing [75.36126971685034]
我々は、アライメントとセグメンテーションをモデルの潜在変数として扱い、エンドツーエンドのトレーニングの一部としてそれらを誘導する。また,AMRの個々の構造を扱うために手作りされたLyu2018AMRPAのセグメンテーションルールに依存するモデルにもアプローチした。
論文参考訳（メタデータ） (2020-10-23T21:22:50Z)
SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。提案手法は,SurVAE フローとして表現できることが示唆された。
論文参考訳（メタデータ） (2020-07-06T13:13:22Z)
ASSET: A Dataset for Tuning and Evaluation of Sentence Simplification Models with Multiple Rewriting Transformations [97.27005783856285]
本稿では,英語で文の単純化を評価するための新しいデータセットであるASSETを紹介する。 ASSETの単純化は、タスクの他の標準評価データセットと比較して、単純さの特徴を捉えるのに優れていることを示す。
論文参考訳（メタデータ） (2020-05-01T16:44:54Z)
A Differential-form Pullback Programming Language for Higher-order Reverse-mode Automatic Differentiation [5.076419064097734]
第一級微分演算子を持つ単純な高階プログラミング言語を設計する。本手法は, 真に高次条件下での逆モードADを正確に捕捉することを示す。
論文参考訳（メタデータ） (2020-02-19T15:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。