論文の概要: Automatic Functional Differentiation in JAX

• arxiv url: http://arxiv.org/abs/2311.18727v2
• Date: Sun, 28 Jan 2024 07:16:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 21:10:42.656996
• Title: Automatic Functional Differentiation in JAX
• Title（参考訳）: JAXにおける自動機能分化
• Authors: Min Lin
• Abstract要約: JAXを高階関数(機能や演算子)を自動的に区別する機能で拡張します。 関数を配列の一般化として表現することにより、JAXの既存のプリミティブシステムを使って高階関数を実装します。
• 参考スコア（独自算出の注目度）: 8.536145202129827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We extend JAX with the capability to automatically differentiate higher-order functions (functionals and operators). By representing functions as a generalization of arrays, we seamlessly use JAX's existing primitive system to implement higher-order functions. We present a set of primitive operators that serve as foundational building blocks for constructing several key types of functionals. For every introduced primitive operator, we derive and implement both linearization and transposition rules, aligning with JAX's internal protocols for forward and reverse mode automatic differentiation. This enhancement allows for functional differentiation in the same syntax traditionally use for functions. The resulting functional gradients are themselves functions ready to be invoked in python. We showcase this tool's efficacy and simplicity through applications where functional derivatives are indispensable. The source code of this work is released at https://github.com/sail-sg/autofd .
• Abstract（参考訳）: JAXを高階関数(関数と演算子)を自動的に区別する機能で拡張します。 配列の一般化として関数を表現することで、jaxの既存のプリミティブシステムをシームレスに高次関数を実装する。 本稿では, 基本構造ブロックとして機能するプリミティブ演算子の集合について述べる。 導入されたすべてのプリミティブ演算子に対して、前方および逆モードの自動微分のためのJAXの内部プロトコルと整合して、線形化と転置ルールの両方を導出し実装する。 この拡張により、伝統的に関数に使用される同じ構文で関数の分化が可能になる。 その結果生じる関数勾配は、pythonで呼び出される準備ができている関数である。 機能的微分が不可欠であるアプリケーションを通じて、このツールの有効性と簡易性を示す。 この作業のソースコードはhttps://github.com/sail-sg/autofdで公開されている。

関連論文リスト

• Expanded Gating Ranges Improve Activation Functions [0.0]
  拡張ArcTanリニアユニット(xATLU)、拡張GELU(xGELU)、拡張SiLU(xSiLU)は、トランスアーキテクチャ内の既存のアクティベーション関数より優れていることがわかった。 また、拡張ゲーティング範囲は1次ゲーティング線形ユニット(GLU)の改善に有望な結果を示すことも示している。
  論文  参考訳（メタデータ） (2024-05-25T09:12:17Z)
• JaxDecompiler: Redefining Gradient-Informed Software Design [0.0]
  JaxDecompilerは、任意のJAX関数を編集可能なPythonコードに変換するツールである。 この記事では、JAX関数を編集可能なPythonコードに変換するツールであるJaxDecompilerを紹介します。
  論文  参考訳（メタデータ） (2024-03-14T20:32:31Z)
• gFaaS: Enabling Generic Functions in Serverless Computing [0.1433758865948252]
  gFは、多種多様なFプラットフォームにわたる機能の総合的な開発と管理を容易にする新しいフレームワークである。 実験の結果,gF関数は様々なシナリオにまたがるネイティブプラットフォーム固有の関数と同様に機能することが示された。
  論文  参考訳（メタデータ） (2024-01-18T20:25:20Z)
• Functional Diffusion [55.251174506648454]
  本稿では,関数拡散と呼ばれる新しい生成拡散モデルを提案する。 汎函数拡散は古典的拡散モデルの無限次元領域への拡張と見なすことができる。 3次元表面上で定義された複雑な符号付き距離関数と変形関数の生成結果を示す。
  論文  参考訳（メタデータ） (2023-11-26T21:35:34Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Provable General Function Class Representation Learning in Multitask Bandits and MDPs [58.624124220900306]
  マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。 本研究では,解析結果を一般関数クラス表現に拡張する。 バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
  論文  参考訳（メタデータ） (2022-05-31T11:36:42Z)
• Equinox: neural networks in JAX via callable PyTrees and filtered transformations [4.264192013842096]
  JAXとPyTorchは2つの人気のあるPython自動微分フレームワークである。 JAXは純粋関数と関数型プログラミングに基づいている。 PyTorchは、パラメータ化された関数を定義するためにオブジェクト指向(OO)クラスベースの構文を普及させた。
  論文  参考訳（メタデータ） (2021-10-30T14:08:56Z)
• Differentiable Spline Approximations [48.10988598845873]
  微分プログラミングは機械学習のスコープを大幅に強化した。 標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。 この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-10-04T16:04:46Z)
• On Correctness of Automatic Differentiation for Non-Differentiable Functions [14.222887950206658]
  非微分可能関数に適用した場合、任意の形式的な意味でオートディフ系が正しいことを示す。 インテンショナル微分と呼ばれる新しいタイプの導関数を提案し、これらの導関数が常に存在し、ほぼ全ての入力に対して標準導関数と一致することを証明する。 このようにして、微分不可能関数に適用された自己微分システムの正当性を正式に確立する。
  論文  参考訳（メタデータ） (2020-06-12T01:57:13Z)
• Automatic Differentiation in ROOT [62.997667081978825]
  数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。 本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
  論文  参考訳（メタデータ） (2020-04-09T09:18:50Z)
• Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
  我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。 主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
  論文  参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。