論文の概要: Combinatory Adjoints and Differentiation

• arxiv url: http://arxiv.org/abs/2207.00847v1
• Date: Sat, 2 Jul 2022 14:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 11:05:22.435310
• Title: Combinatory Adjoints and Differentiation
• Title（参考訳）: 組合せ随伴と分化
• Authors: Martin Elsman (University of Copenhagen), Fritz Henglein (University of Copenhagen), Robin Kaarsgaard (University of Edinburgh), Mikkel Kragh Mathiesen (University of Copenhagen), Robert Schenck (University of Copenhagen)
• Abstract要約: 機能解析におけるカテゴリー構造に基づく自動的および記号的微分のための構成的アプローチを開発する。 本稿では,線形関数を生成する微分計算を用いて,記号的および自動微分が可能であることを示す。 また、行列を使わずに微分の随伴を記号的に計算する計算も提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a compositional approach for automatic and symbolic differentiation based on categorical constructions in functional analysis where derivatives are linear functions on abstract vectors rather than being limited to scalars, vectors, matrices or tensors represented as multi-dimensional arrays. We show that both symbolic and automatic differentiation can be performed using a differential calculus for generating linear functions representing Fr\'echet derivatives based on rules for primitive, constant, linear and bilinear functions as well as their sequential and parallel composition. Linear functions are represented in a combinatory domain-specific language. Finally, we provide a calculus for symbolically computing the adjoint of a derivative without using matrices, which are too inefficient to use on high-dimensional spaces. The resulting symbolic representation of a derivative retains the data-parallel operations from the input program. The combination of combinatory differentiation and computing formal adjoints turns out to be behaviorally equivalent to reverse-mode automatic differentiation. In particular, it provides opportunities for optimizations where matrices are too inefficient to represent linear functions.
• Abstract（参考訳）: 本研究では,多次元配列として表現されるスカラー,ベクトル,行列,テンソルに制限されるのではなく,抽象ベクトル上の線型関数である関数解析において,カテゴリ構造に基づく自動的および記号的微分の合成手法を開発した。 本稿では,Fr'echet微分を表現した線形関数を生成する微分積分法を用いて,原始関数,定数関数,線形関数,双線型関数の規則,およびそれらの逐次および並列合成を用いて,記号的および自動微分が可能であることを示す。 線形関数は結合的なドメイン固有言語で表される。 最後に,高次元空間で使用するには非効率な行列を用いず,微分の随伴を記号的に計算するための計算法を提案する。 導関数のシンボル表現は、入力プログラムからのデータ並列操作を保持する。 結合微分と形式的随伴の計算の組み合わせは、逆モード自動微分と挙動的に等価であることが判明した。 特に、行列が線型関数を表現するには非効率すぎる最適化の機会を提供する。

関連論文リスト

• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
  行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。 我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。 可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:52:23Z)
• CoLA: Exploiting Compositional Structure for Automatic and Efficient Numerical Linear Algebra [62.37017125812101]
  機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。 線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。 偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
  論文  参考訳（メタデータ） (2023-09-06T14:59:38Z)
• The Backpropagation algorithm for a math student [0.0]
  ディープニューラルネットワーク(Deep Neural Network, DNN)は、ベクトル値関数の合成関数である。 DNNの損失関数の勾配は、多数のパラメータを持つ複数の非線形関数からなる構成である。 本稿では,ヤコビアン演算子を用いた行列乗算による損失関数の勾配を表現することを目的とする。
  論文  参考訳（メタデータ） (2023-01-22T08:45:30Z)
• Decoupling multivariate functions using a nonparametric filtered tensor decomposition [0.29360071145551075]
  疎結合技術は、非線形性の代替表現を提供することを目的としている。 いわゆる疎結合形式はしばしば、高度に構造化され、解釈可能性を好む一方で、関係のより効率的なパラメータ化である。 本研究では, 1次微分情報のフィルタテンソル分解に基づく2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:34:17Z)
• Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
  画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。 この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
  論文  参考訳（メタデータ） (2021-08-02T13:38:09Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• A graphical calculus for integration over random diagonal unitary matrices [1.5229257192293197]
  テンソルネットワークダイアグラムの平均を計算するためのグラフ計算を提供する。 我々は、一様ブロック置換の部分順序集合の順序構造を利用する。 同様の計算法は、独立な一様符号からなるランダムベクトルに対して開発された。
  論文  参考訳（メタデータ） (2020-07-22T06:06:51Z)
• Automatic Differentiation in ROOT [62.997667081978825]
  数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。 本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
  論文  参考訳（メタデータ） (2020-04-09T09:18:50Z)
• Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
  我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。 主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
  論文  参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。