論文の概要: On Correctness of Automatic Differentiation for Non-Differentiable Functions

• arxiv url: http://arxiv.org/abs/2006.06903v2
• Date: Mon, 26 Oct 2020 04:44:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:33:01.840832
• Title: On Correctness of Automatic Differentiation for Non-Differentiable Functions
• Title（参考訳）: 非微分関数の自動微分の正確性について
• Authors: Wonyeol Lee, Hangyeol Yu, Xavier Rival, Hongseok Yang
• Abstract要約: 非微分可能関数に適用した場合、任意の形式的な意味でオートディフ系が正しいことを示す。 インテンショナル微分と呼ばれる新しいタイプの導関数を提案し、これらの導関数が常に存在し、ほぼ全ての入力に対して標準導関数と一致することを証明する。 このようにして、微分不可能関数に適用された自己微分システムの正当性を正式に確立する。
• 参考スコア（独自算出の注目度）: 14.222887950206658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiation lies at the core of many machine-learning algorithms, and is well-supported by popular autodiff systems, such as TensorFlow and PyTorch. Originally, these systems have been developed to compute derivatives of differentiable functions, but in practice, they are commonly applied to functions with non-differentiabilities. For instance, neural networks using ReLU define non-differentiable functions in general, but the gradients of losses involving those functions are computed using autodiff systems in practice. This status quo raises a natural question: are autodiff systems correct in any formal sense when they are applied to such non-differentiable functions? In this paper, we provide a positive answer to this question. Using counterexamples, we first point out flaws in often-used informal arguments, such as: non-differentiabilities arising in deep learning do not cause any issues because they form a measure-zero set. We then investigate a class of functions, called PAP functions, that includes nearly all (possibly non-differentiable) functions in deep learning nowadays. For these PAP functions, we propose a new type of derivatives, called intensional derivatives, and prove that these derivatives always exist and coincide with standard derivatives for almost all inputs. We also show that these intensional derivatives are what most autodiff systems compute or try to compute essentially. In this way, we formally establish the correctness of autodiff systems applied to non-differentiable functions.
• Abstract（参考訳）: 差別化は、多くの機械学習アルゴリズムの中核にあり、tensorflowやpytorchといった一般的なautodiffシステムでよくサポートされている。 もともとこれらの系は微分可能関数の微分を計算するために開発されたが、実際には微分不可能な関数に適用される。 例えば、reluを用いたニューラルネットワークは一般に非微分可能関数を定義するが、それらの関数を含む損失の勾配は実際にはオートディフシステムを用いて計算される。 このような非微分関数に適用されたとき、autodiffシステムはいかなる形式的意味でも正しいのか? 本稿では,この問題に対する肯定的な回答を提供する。 例えば、 深層学習で発生する非微分確率は、それが測度ゼロ集合を形成するため、何の問題も起こさない。 次に、現在ディープラーニングにおいてほぼすべての(おそらく微分不能な)関数を含むpap関数と呼ばれる関数のクラスを調べます。 これらのPAP関数に対して、Intensional derivativesと呼ばれる新しいタイプの導関数を提案し、これらの導関数が常に存在し、ほぼ全ての入力に対して標準導関数と一致することを証明する。 また、これらの不動微分は、ほとんどのオートディフシステムが本質的に計算または計算しようとするものであることも示している。 このようにして、微分不能関数に適用される自己微分システムの正しさを正式に確立する。

関連論文リスト

• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Automatic differentiation of nonsmooth iterative algorithms [0.0]
  適切な非膨張条件下での非平滑ピギーバック自動分化(AD)について検討した。 非平滑なピギーバック反復の引き付け集合は、保守的枠組みに残る固定点の集合値であることを示す。 本研究は,Multiple-Ball法と同様に,フォワード・バックワード,ダグラス・ラフフォード,オルタネート・ディレクト・オブ・マルチプライアのアルゴリズムを用いたパラメトリック凸最適化問題について述べる。
  論文  参考訳（メタデータ） (2022-05-31T07:58:37Z)
• Decoupling multivariate functions using a nonparametric filtered tensor decomposition [0.29360071145551075]
  疎結合技術は、非線形性の代替表現を提供することを目的としている。 いわゆる疎結合形式はしばしば、高度に構造化され、解釈可能性を好む一方で、関係のより効率的なパラメータ化である。 本研究では, 1次微分情報のフィルタテンソル分解に基づく2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:34:17Z)
• Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
  DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。 我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
  論文  参考訳（メタデータ） (2022-02-11T13:51:30Z)
• Adjoint-aided inference of Gaussian process driven differential equations [0.8257490175399691]
  本稿では,線形系の随伴性を用いて,GPとしてモデル化された強制関数を効率的に推論する方法を示す。 常微分方程式と偏微分方程式の両方の系に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2022-02-09T17:35:14Z)
• Neural Network Approximation of Refinable Functions [8.323468006516018]
  本研究では, 深部ReLUネットワークの出力幅が一定であり, 精度指数で深部を増大させることにより, 精錬可能関数が近似可能であることを示す。 本研究は,ウェーブレットの標準構成に使用される関数と,コンピュータ支援幾何設計における部分分割アルゴリズムを用いて構築される関数に適用する。
  論文  参考訳（メタデータ） (2021-07-28T06:45:36Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• A Functional Perspective on Learning Symmetric Functions with Neural Networks [48.80300074254758]
  本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
  論文  参考訳（メタデータ） (2020-08-16T16:34:33Z)
• Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
  本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。 実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
  論文  参考訳（メタデータ） (2020-07-05T18:58:47Z)
• Automatic Differentiation in ROOT [62.997667081978825]
  数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。 本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
  論文  参考訳（メタデータ） (2020-04-09T09:18:50Z)
• Densities of Almost Surely Terminating Probabilistic Programs are Differentiable Almost Everywhere [1.911678487931003]
  再帰と条件付き高次統計確率プログラムの微分特性について検討する。 この研究の副産物は、実パラメータを持つほぼ確実に決定論的(S)PCFプログラムがほぼすべての微分可能性を持つ関数を表すことである。
  論文  参考訳（メタデータ） (2020-04-08T10:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。