論文の概要: Backpropagation through Back Substitution with a Backslash

• arxiv url: http://arxiv.org/abs/2303.15449v2
• Date: Thu, 31 Aug 2023 01:11:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 20:40:48.199647
• Title: Backpropagation through Back Substitution with a Backslash
• Title（参考訳）: バックスラッシュによるバック置換によるバックプロパゲーション
• Authors: Alan Edelman and Ekin Akyurek and Yuyang Wang
• Abstract要約: バックプロパゲーションの線形代数定式化を提案する。 一般化された「バックスラッシュ」やガウス的除去を用いて勾配を計算することができる。
• 参考スコア（独自算出の注目度）: 3.88516704975551
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a linear algebra formulation of backpropagation which allows the calculation of gradients by using a generically written ``backslash'' or Gaussian elimination on triangular systems of equations. Generally, the matrix elements are operators. This paper has three contributions: (i) it is of intellectual value to replace traditional treatments of automatic differentiation with a (left acting) operator theoretic, graph-based approach; (ii) operators can be readily placed in matrices in software in programming languages such as Julia as an implementation option; (iii) we introduce a novel notation, ``transpose dot'' operator ``$\{\}^{T_\bullet}$'' that allows for the reversal of operators. We further demonstrate the elegance of the operators approach in a suitable programming language consisting of generic linear algebra operators such as Julia \cite{bezanson2017julia}, and that it is possible to realize this abstraction in code. Our implementation shows how generic linear algebra can allow operators as elements of matrices. In contrast to ``operator overloading,'' where backslash would normally have to be rewritten to take advantage of operators, with ``generic programming'' there is no such need.
• Abstract（参考訳）: 線形代数による逆プロパゲーションの定式化は、方程式の三角系上の一般化された '`backslash'' あるいはガウス的排除を用いて勾配の計算を可能にする。 一般に、行列要素は演算子である。 この論文には3つの貢献があります (i) 自動分化の伝統的な治療を(左作用)操作者理論に基づくグラフベースアプローチに置き換えることは知的な価値である。 (ii)オペレータは、Juliaのようなプログラミング言語のソフトウェアで実装オプションとして簡単に行列に配置できる。 (iii)演算子の逆転を可能にする新しい表記法である ``transpose dot''演算子 ``$\{\}^{T_\bullet}$' を導入する。 さらに、julia \cite{bezanson2017julia} のようなジェネリック線形代数演算子からなる適切なプログラミング言語における演算子アプローチのエレガンスを示し、この抽象化をコードで実現できることを示す。 本実装は、一般線型代数が作用素を行列の要素として許す方法を示す。 ただし、'`operator overloading'とは対照的に、'`generic programming''のように、バックスラッシュは通常演算子を活用するために書き直さなければならない。

関連論文リスト

• Irreducible matrix representations for the walled Brauer algebra [0.9374652839580183]
  本稿では、部分転置置換作用素の代数の表現論、$mathcalAd_p,p$について考察する。 これは抽象壁付きブラウアー代数に対する行列表現を提供する。 この代数学は近年、量子情報理論の関連性から大きな注目を集めている。
  論文  参考訳（メタデータ） (2025-01-22T18:22:20Z)
• A Walsh Hadamard Derived Linear Vector Symbolic Architecture [83.27945465029167]
  シンボリックベクトルアーキテクチャ(VSAs)は、ニューロシンボリックAIを開発するためのアプローチである。 HLBは計算効率が良く、従来のVSAタスクで有効であるように設計されている。
  論文  参考訳（メタデータ） (2024-10-30T03:42:59Z)
• Beyond symmetrization: effective adjacency matrices and renormalization for (un)singed directed graphs [0.0]
  変形ラプラシア作用素の定義から生じる効果的な隣接行列の概念を定義する。 これらの効果的な行列は、ジェネリックグラフを符号のない無向グラフの族にマッピングすることを可能にする。 ホッジ・ヘルムホルツ分解がこの複雑さをナビゲートするのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-06-03T16:48:25Z)
• CoLA: Exploiting Compositional Structure for Automatic and Efficient Numerical Linear Algebra [62.37017125812101]
  機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。 線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。 偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
  論文  参考訳（メタデータ） (2023-09-06T14:59:38Z)
• IterLara: A Turing Complete Algebra for Big Data, AI, Scientific Computing, and Database [3.290975206134346]
  textscLaraは3種類の操作抽象化を備えた線形およびリレーショナル代数の統合を目的としたキー値代数である。 本稿では,textscIterLaraを反復演算子に拡張し,汎用コンピューティングにおける演算を統一する代数モデルを提案する。
  論文  参考訳（メタデータ） (2023-07-17T08:23:09Z)
• General expansion of natural power of linear combination of Bosonic operators in normal order [3.42658286826597]
  ボゾン作用素の線型結合の自然パワーを正規順序で一般化する。 この結果は、量子力学における多体系の研究に重要である。
  論文  参考訳（メタデータ） (2023-05-29T14:26:45Z)
• The tilted CHSH games: an operator algebraic classification [77.34726150561087]
  本稿では,バイナリ・インプット・バイナリ・アウトプットゲームを解くための一般的な体系的手順を紹介する。 次に、傾いたCHSHゲームの顕著なクラスについて説明する。 我々はこれらを、量子的優位性を示す領域全体の特性化から導いた。
  論文  参考訳（メタデータ） (2023-02-16T18:33:59Z)
• Marginalized Operators for Off-policy Reinforcement Learning [53.37381513736073]
  有理化作用素は、Retraceのような一般的な多段階作用素を特別な場合として厳密に一般化する。 余剰化演算子の推定値がスケーラブルな方法で計算可能であることを示し、また、余剰化重要度サンプリングの事前結果を特別な場合として一般化する。
  論文  参考訳（メタデータ） (2022-03-30T09:59:59Z)
• Generalized Inversion of Nonlinear Operators [6.191418251390628]
  演算子の反転はデータ処理の基本的な概念である。 最も注目すべきはムーア=ペンローズ逆数であり、物理学、統計学、工学の様々な分野に広く使われている。
  論文  参考訳（メタデータ） (2021-11-21T07:15:37Z)
• Sketching Transformed Matrices with Applications to Natural Language Processing [76.6222695417524]
  本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。 提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T03:07:31Z)
• Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
  我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。 本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-02-08T21:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。