Fugu-MT 論文翻訳(概要): A mathematical model for automatic differentiation in machine learning

論文の概要: A mathematical model for automatic differentiation in machine learning

arxiv url: http://arxiv.org/abs/2006.02080v2
Date: Thu, 29 Oct 2020 15:11:30 GMT
ステータス: 処理完了
システム内更新日: 2022-11-25 17:35:01.109269
Title: A mathematical model for automatic differentiation in machine learning
Title（参考訳）: 機械学習における自動微分の数学的モデル
Authors: Jerome Bolte (TSE), Edouard Pauwels (IRIT-ADRIA)
Abstract要約: 簡単な関数のクラス、非滑らかな計算を提供し、それらが近似法にどのように適用されるかを示す。また、アルゴリズムの微分によって生成された人工臨界点の問題も証明し、通常の手法がそれらの点を確率1で避けていることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automatic differentiation, as implemented today, does not have a simple mathematical model adapted to the needs of modern machine learning. In this work we articulate the relationships between differentiation of programs as implemented in practice and differentiation of nonsmooth functions. To this end we provide a simple class of functions, a nonsmooth calculus, and show how they apply to stochastic approximation methods. We also evidence the issue of artificial critical points created by algorithmic differentiation and show how usual methods avoid these points with probability one.
Abstract（参考訳）: 今日実装されている自動微分は、現代の機械学習のニーズに適応した単純な数学的モデルを持っていない。本研究では,実際に実施されているプログラムの微分と非滑らか関数の微分の関係を明らかにする。この目的のために、簡単な関数のクラス、非滑らかな計算を提供し、それらを確率近似法に適用する方法を示す。また,アルゴリズムの微分によって創造された臨界点の問題を証明し,通常手法がそれらの点を確率1で回避する方法を示す。

関連論文リスト

Learning minimal representations of stochastic processes with variational autoencoders [52.99137594502433]
プロセスを記述するのに必要なパラメータの最小セットを決定するために、教師なしの機械学習アプローチを導入する。我々の手法はプロセスを記述する未知のパラメータの自律的な発見を可能にする。
論文参考訳（メタデータ） (2023-07-21T14:25:06Z)
Locally Regularized Neural Differential Equations: Some Black Boxes Were Meant to Remain Closed! [3.222802562733787]
ニューラル微分方程式のような暗黙の層深層学習技術は重要なモデリングフレームワークとなっている。パフォーマンスとトレーニング時間をトレードオフする2つのサンプリング戦略を開発します。本手法は,関数評価を0.556-0.733xに削減し,予測を1.3-2xに高速化する。
論文参考訳（メタデータ） (2023-03-03T23:31:15Z)
Learning non-stationary and discontinuous functions using clustering, classification and Gaussian process modelling [0.0]
非滑らかな関数の近似に対する3段階のアプローチを提案する。この考え方は、システムの局所的な振る舞いや体制に従って空間を分割し、局所的なサロゲートを構築することである。本手法は, 引張膜構造の2つの解析関数と有限要素モデルを用いて検証し, 検証した。
論文参考訳（メタデータ） (2022-11-30T11:11:56Z)
Symbolic Recovery of Differential Equations: The Identifiability Problem [52.158782751264205]
微分方程式の記号的回復は、支配方程式の導出を自動化する野心的な試みである。関数が対応する微分方程式を一意に決定するために必要な条件と十分な条件の両方を提供する。この結果を用いて、関数が微分方程式を一意に解くかどうかを判定する数値アルゴリズムを考案する。
論文参考訳（メタデータ） (2022-10-15T17:32:49Z)
Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文参考訳（メタデータ） (2022-06-01T23:26:51Z)
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文参考訳（メタデータ） (2022-05-31T04:57:06Z)
Differentiable Spline Approximations [48.10988598845873]
微分プログラミングは機械学習のスコープを大幅に強化した。標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
論文参考訳（メタデータ） (2021-10-04T16:04:46Z)
Nonsmooth Implicit Differentiation for Machine Learning and Optimization [0.0]
ますます複雑化する学習アーキテクチャの訓練の観点から、演算計算を用いた非滑らかな暗黙関数定理を確立する。この結果は、古典的可逆条件の非滑らかな形式が満たされることを前提として、最も実践的な問題(すなわち、定義可能な問題)に適用できる。例えば、クラーク・ヤコビアンによる微分式を通常の微分公式で置き換えることは完全に正当化される。
論文参考訳（メタデータ） (2021-06-08T13:59:47Z)
Efficient and Modular Implicit Differentiation [68.74748174316989]
最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
論文参考訳（メタデータ） (2021-05-31T17:45:58Z)
A Neuro-Symbolic Method for Solving Differential and Functional Equations [6.899578710832262]
微分方程式を解くために記号式を生成する方法を提案する。既存の手法とは異なり、このシステムは記号数学よりも言語モデルを学習する必要はない。我々は,他の数学的課題に対するシンボリックな解を見つけるために,システムがいかに懸命に一般化されるかを示す。
論文参考訳（メタデータ） (2020-11-04T17:13:25Z)
A scheme for automatic differentiation of complex loss functions [0.0]
複素関数の自動微分を実現するための効率的かつシームレスなスキームを提案する。このスキームは、複素数を使用するニューラルネットワークの実装を著しく単純化することができる。
論文参考訳（メタデータ） (2020-03-02T02:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。