論文の概要: Combinatory Adjoints and Differentiation

• arxiv url: http://arxiv.org/abs/2207.00847v1
• Date: Sat, 2 Jul 2022 14:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 11:05:22.435310
• Title: Combinatory Adjoints and Differentiation
• Title（参考訳）: 組合せ随伴と分化
• Authors: Martin Elsman (University of Copenhagen), Fritz Henglein (University of Copenhagen), Robin Kaarsgaard (University of Edinburgh), Mikkel Kragh Mathiesen (University of Copenhagen), Robert Schenck (University of Copenhagen)
• Abstract要約: 機能解析におけるカテゴリー構造に基づく自動的および記号的微分のための構成的アプローチを開発する。 本稿では,線形関数を生成する微分計算を用いて,記号的および自動微分が可能であることを示す。 また、行列を使わずに微分の随伴を記号的に計算する計算も提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a compositional approach for automatic and symbolic differentiation based on categorical constructions in functional analysis where derivatives are linear functions on abstract vectors rather than being limited to scalars, vectors, matrices or tensors represented as multi-dimensional arrays. We show that both symbolic and automatic differentiation can be performed using a differential calculus for generating linear functions representing Fr\'echet derivatives based on rules for primitive, constant, linear and bilinear functions as well as their sequential and parallel composition. Linear functions are represented in a combinatory domain-specific language. Finally, we provide a calculus for symbolically computing the adjoint of a derivative without using matrices, which are too inefficient to use on high-dimensional spaces. The resulting symbolic representation of a derivative retains the data-parallel operations from the input program. The combination of combinatory differentiation and computing formal adjoints turns out to be behaviorally equivalent to reverse-mode automatic differentiation. In particular, it provides opportunities for optimizations where matrices are too inefficient to represent linear functions.
• Abstract（参考訳）: 本研究では,多次元配列として表現されるスカラー,ベクトル,行列,テンソルに制限されるのではなく,抽象ベクトル上の線型関数である関数解析において,カテゴリ構造に基づく自動的および記号的微分の合成手法を開発した。 本稿では,Fr'echet微分を表現した線形関数を生成する微分積分法を用いて,原始関数,定数関数,線形関数,双線型関数の規則,およびそれらの逐次および並列合成を用いて,記号的および自動微分が可能であることを示す。 線形関数は結合的なドメイン固有言語で表される。 最後に,高次元空間で使用するには非効率な行列を用いず,微分の随伴を記号的に計算するための計算法を提案する。 導関数のシンボル表現は、入力プログラムからのデータ並列操作を保持する。 結合微分と形式的随伴の計算の組み合わせは、逆モード自動微分と挙動的に等価であることが判明した。 特に、行列が線型関数を表現するには非効率すぎる最適化の機会を提供する。

関連論文リスト

• Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models [76.52307406752556]
  ランダムリゾルダーの2点関数に対する新しい決定論的等価性を導出する。 勾配勾配を有する多種多様な高次元学習線形モデルの性能を統一的に導出する。
  論文  参考訳（メタデータ） (2025-02-07T16:45:40Z)
• Matrix Calculus (for Machine Learning and Beyond) [0.2647285178819813]
  このコースはより一般的なベクトル空間上の函数への微分積分の拡張を導入する。 大規模最適化や機械学習といった実用的な計算応用を強調している。
  論文  参考訳（メタデータ） (2025-01-07T18:38:35Z)
• Entrywise application of non-linear functions on orthogonally invariant matrices [44.99833362998488]
  非線型関数の対称不変確率行列アンサンブルへのエントリワイズ適用がスペクトル分布をどう変えるかを検討する。 すべての場合において、ガウス同値原理は、つまり、非線型函数の効果は、関連する行列と追加の独立なGOEの線型結合をとるのと同じである。
  論文  参考訳（メタデータ） (2024-12-09T19:41:09Z)
• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。 本稿では、リーマン幾何学の観点から行列対数とパワーの包括的かつ統一的な理解を提供する。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• The Backpropagation algorithm for a math student [0.0]
  ディープニューラルネットワーク(Deep Neural Network, DNN)は、ベクトル値関数の合成関数である。 DNNの損失関数の勾配は、多数のパラメータを持つ複数の非線形関数からなる構成である。 本稿では,ヤコビアン演算子を用いた行列乗算による損失関数の勾配を表現することを目的とする。
  論文  参考訳（メタデータ） (2023-01-22T08:45:30Z)
• Decoupling multivariate functions using a nonparametric filtered tensor decomposition [0.29360071145551075]
  疎結合技術は、非線形性の代替表現を提供することを目的としている。 いわゆる疎結合形式はしばしば、高度に構造化され、解釈可能性を好む一方で、関係のより効率的なパラメータ化である。 本研究では, 1次微分情報のフィルタテンソル分解に基づく2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:34:17Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• A graphical calculus for integration over random diagonal unitary matrices [1.5229257192293197]
  テンソルネットワークダイアグラムの平均を計算するためのグラフ計算を提供する。 我々は、一様ブロック置換の部分順序集合の順序構造を利用する。 同様の計算法は、独立な一様符号からなるランダムベクトルに対して開発された。
  論文  参考訳（メタデータ） (2020-07-22T06:06:51Z)
• Automatic Differentiation in ROOT [62.997667081978825]
  数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。 本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
  論文  参考訳（メタデータ） (2020-04-09T09:18:50Z)
• Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
  我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。 主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
  論文  参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。