論文の概要: BACKpropagation through BACK substitution with a BACKslash
- arxiv url: http://arxiv.org/abs/2303.15449v1
- Date: Thu, 23 Feb 2023 23:51:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 16:07:31.300787
- Title: BACKpropagation through BACK substitution with a BACKslash
- Title(参考訳): BACKスラッシュによるBACK置換によるBACKプロパゲーション
- Authors: Alan Edelman and Ekin Akyurek and Yuyang Wang
- Abstract要約: バックプロパゲーションの線形代数定式化を提案する。
一般化された「バックスラッシュ」やガウス的除去を用いて勾配を計算することができる。
- 参考スコア(独自算出の注目度): 9.04563945965023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a linear algebra formulation of backpropagation which allows the
calculation of gradients by using a generically written ``backslash'' or
Gaussian elimination on triangular systems of equations. Generally the matrix
elements are operators. This paper has three contributions:
1. It is of intellectual value to replace traditional treatments of automatic
differentiation with a (left acting) operator theoretic, graph-based approach.
2. Operators can be readily placed in matrices in software in programming
languages such as Ju lia as an implementation option.
3. We introduce a novel notation, ``transpose dot'' operator
``$\{\}^{T_\bullet}$'' that allows the reversal of operators.
We demonstrate the elegance of the operators approach in a suitable
programming language consisting of generic linear algebra operators such as
Julia \cite{bezanson2017julia}, and that it is possible to realize this
abstraction in code. Our implementation shows how generic linear algebra can
allow operators as elements of matrices, and without rewriting any code, the
software carries through to completion giving the correct answer.
- Abstract(参考訳): 線形代数による逆プロパゲーションの定式化は、方程式の三角系上の一般化された '`backslash'' あるいはガウス的排除を用いて勾配の計算を可能にする。
一般に行列要素は作用素である。
本論文は3つの貢献がある: 1. 自動分化の伝統的な治療を(作用的)操作理論に基づくグラフベースアプローチに置き換えることは知的価値である。
2.演算子は実装オプションとしてju liaのようなプログラミング言語のソフトウェアの行列に簡単に配置できる。
3) 演算子の逆転を可能にする新しい表記法である ``transpose dot'' 演算子 ``$\{\}^{T_\bullet}$'' を導入する。
本稿では,Julia \cite{bezanson2017julia} のような線形代数演算子からなる固有プログラミング言語における演算子アプローチのエレガンスを実証し,この抽象化をコードで実現できることを示す。
我々の実装は、一般化線形代数が演算子を行列の要素として許容し、コードを書き直すことなく、ソフトウェアが正しい答えを与える完了まで実行可能であることを示す。
関連論文リスト
- CoLA: Exploiting Compositional Structure for Automatic and Efficient
Numerical Linear Algebra [62.37017125812101]
機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。
線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。
偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
論文 参考訳(メタデータ) (2023-09-06T14:59:38Z) - IterLara: A Turing Complete Algebra for Big Data, AI, Scientific
Computing, and Database [3.290975206134346]
textscLaraは3種類の操作抽象化を備えた線形およびリレーショナル代数の統合を目的としたキー値代数である。
本稿では,textscIterLaraを反復演算子に拡張し,汎用コンピューティングにおける演算を統一する代数モデルを提案する。
論文 参考訳(メタデータ) (2023-07-17T08:23:09Z) - Vectorization of the density matrix and quantum simulation of the von
Neumann equation of time-dependent Hamiltonians [65.268245109828]
我々は、von-Neumann方程式を線形化するための一般的なフレームワークを開発し、量子シミュレーションに適した形でレンダリングする。
フォン・ノイマン方程式のこれらの線型化のうちの1つは、状態ベクトルが密度行列の列重ね元となる標準的な場合に対応することを示す。
密度行列の力学をシミュレートする量子アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-14T23:08:51Z) - General expansion of natural power of linear combination of Bosonic
operators in normal order [3.42658286826597]
ボゾン作用素の線型結合の自然パワーを正規順序で一般化する。
この結果は、量子力学における多体系の研究に重要である。
論文 参考訳(メタデータ) (2023-05-29T14:26:45Z) - The tilted CHSH games: an operator algebraic classification [77.34726150561087]
本稿では,バイナリ・インプット・バイナリ・アウトプットゲームを解くための一般的な体系的手順を紹介する。
次に、傾いたCHSHゲームの顕著なクラスについて説明する。
我々はこれらを、量子的優位性を示す領域全体の特性化から導いた。
論文 参考訳(メタデータ) (2023-02-16T18:33:59Z) - Marginalized Operators for Off-policy Reinforcement Learning [53.37381513736073]
有理化作用素は、Retraceのような一般的な多段階作用素を特別な場合として厳密に一般化する。
余剰化演算子の推定値がスケーラブルな方法で計算可能であることを示し、また、余剰化重要度サンプリングの事前結果を特別な場合として一般化する。
論文 参考訳(メタデータ) (2022-03-30T09:59:59Z) - Generalized Inversion of Nonlinear Operators [6.191418251390628]
演算子の反転はデータ処理の基本的な概念である。
最も注目すべきはムーア=ペンローズ逆数であり、物理学、統計学、工学の様々な分野に広く使われている。
論文 参考訳(メタデータ) (2021-11-21T07:15:37Z) - Learning Symbolic Expressions: Mixed-Integer Formulations, Cuts, and
Heuristics [1.1602089225841632]
機能形式を仮定せずに回帰関数を学習する問題を考察する。
制限されたMIを解くことで表現木を構築する手法を提案する。
論文 参考訳(メタデータ) (2021-02-16T18:39:14Z) - Braiding quantum gates from partition algebras [0.0]
ユニタリブレイディング作用素は、堅牢な量子ゲートとして使用することができる。
本稿では,$(d,m,l)$- Generalized Yang-Baxter方程式を解く解生成手法を提案する。
明示的な例は 2-, 3-, 4-qubit システムに対して与えられる。
論文 参考訳(メタデータ) (2020-02-29T11:53:08Z) - Sketching Transformed Matrices with Applications to Natural Language
Processing [76.6222695417524]
本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。
提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
論文 参考訳(メタデータ) (2020-02-23T03:07:31Z) - Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。
本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文 参考訳(メタデータ) (2020-02-08T21:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。