論文の概要: Efficient and Sound Differentiable Programming in a Functional Array-Processing Language

• arxiv url: http://arxiv.org/abs/2212.10307v1
• Date: Tue, 20 Dec 2022 14:54:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 17:25:31.551792
• Title: Efficient and Sound Differentiable Programming in a Functional Array-Processing Language
• Title（参考訳）: 関数型アレー処理言語における効率的・音分別プログラミング
• Authors: Amir Shaikhha, Mathieu Huot, Shabnam Ghasemirad, Andrew Fitzgibbon, Simon Peyton Jones, Dimitrios Vytiniotis
• Abstract要約: 自動微分 (AD) はプログラムで表される関数の微分を計算する手法である。 本稿では,高次関数型配列処理言語のためのADシステムを提案する。 フォワードモードADによる計算は、逆モードと同じくらい効率的に行うことができる。
• 参考スコア（独自算出の注目度）: 4.1779847272994495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic differentiation (AD) is a technique for computing the derivative of a function represented by a program. This technique is considered as the de-facto standard for computing the differentiation in many machine learning and optimisation software tools. Despite the practicality of this technique, the performance of the differentiated programs, especially for functional languages and in the presence of vectors, is suboptimal. We present an AD system for a higher-order functional array-processing language. The core functional language underlying this system simultaneously supports both source-to-source forward-mode AD and global optimisations such as loop transformations. In combination, gradient computation with forward-mode AD can be as efficient as reverse mode, and the Jacobian matrices required for numerical algorithms such as Gauss-Newton and Levenberg-Marquardt can be efficiently computed.
• Abstract（参考訳）: 自動微分(automatic differentiation, aad)は、プログラムで表される関数の微分を計算する手法である。 この技術は、多くの機械学習および最適化ソフトウェアツールにおける微分を計算するためのデファクト標準と見なされている。 この手法の実用性にもかかわらず、特に関数型言語やベクトルの存在下での区別されたプログラムのパフォーマンスは最適ではない。 本稿では高階関数型配列処理言語のためのADシステムを提案する。 このシステムの基本機能言語は、ソースからソースへのフォワードモードADとループ変換のようなグローバルな最適化の両方を同時にサポートする。 組み合わせると、フォワードモードADによる勾配計算は逆モードと同じくらい効率的であり、ガウス・ニュートンやレバンス・マルカルトのような数値アルゴリズムに必要なヤコビ行列は効率的に計算できる。

関連論文リスト

• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• A Method for Efficient Heterogeneous Parallel Compilation: A Cryptography Case Study [8.06660833012594]
  本稿では,多様なハードウェアアーキテクチャにまたがるデータ管理と並列計算を最適化するために,ハイパーという新しいMLIRベースの方言を提案する。 HETOCompilerは,複数のハッシュアルゴリズムを実装し,不均一なシステム上での実行を可能にする,暗号に着目したコンパイラのプロトタイプである。
  論文  参考訳（メタデータ） (2024-07-12T15:12:51Z)
• AxOMaP: Designing FPGA-based Approximate Arithmetic Operators using Mathematical Programming [2.898055875927704]
  FPGAの近似演算子を合成するための,データ解析による数学的プログラミングに基づく手法を提案する。 具体的には、特徴量データの相関解析の結果に基づいて、混合整数の2次制約付きプログラムを定式化する。 従来の進化的アルゴリズムによる最適化と比較して,PPAとBEHAVの併用最適化において,ハイパーボリュームの最大21%の改善が報告されている。
  論文  参考訳（メタデータ） (2023-09-23T18:23:54Z)
• Source-to-Source Automatic Differentiation of OpenMP Parallel Loops [0.0]
  本稿では,OpenMP並列ワークシェアリングループの前方・後方モードにおける精度向上に向けた取り組みについて述べる。 本稿では,生成した派生コードの正しさを判断する枠組みを提案し,OpenMP拡張から微分モデルへの拡張を正当化する。 生成した導関数プログラムの前方・逆モードの性能は逐次モードよりも優れているが,我々の逆モードは入力プログラムよりもよくスケールする。
  論文  参考訳（メタデータ） (2021-11-02T19:40:59Z)
• Geometry-aware Bayesian Optimization in Robotics using Riemannian Mat\'ern Kernels [64.62221198500467]
  ベイズ最適化のための幾何対応カーネルの実装方法を示す。 この技術は、ロボット工学における制御パラメータチューニング、パラメトリックポリシー適応、構造設計に利用できる。
  論文  参考訳（メタデータ） (2021-11-02T09:47:22Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Automatic Differentiation in ROOT [62.997667081978825]
  数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。 本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
  論文  参考訳（メタデータ） (2020-04-09T09:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。