論文の概要: The Elements of Differentiable Programming

• arxiv url: http://arxiv.org/abs/2403.14606v2
• Date: Wed, 24 Jul 2024 16:56:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 19:01:10.262774
• Title: The Elements of Differentiable Programming
• Title（参考訳）: 微分プログラミングの要素
• Authors: Mathieu Blondel, Vincent Roulet,
• Abstract要約: 微分可能プログラミングは複雑なコンピュータプログラムのエンドツーエンドの微分を可能にする。 微分プログラミングは、コンピュータ科学と応用数学のいくつかの領域の上に構築されている。
• 参考スコア（独自算出の注目度）: 14.197724178748176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial intelligence has recently experienced remarkable advances, fueled by large models, vast datasets, accelerated hardware, and, last but not least, the transformative power of differentiable programming. This new programming paradigm enables end-to-end differentiation of complex computer programs (including those with control flows and data structures), making gradient-based optimization of program parameters possible. As an emerging paradigm, differentiable programming builds upon several areas of computer science and applied mathematics, including automatic differentiation, graphical models, optimization and statistics. This book presents a comprehensive review of the fundamental concepts useful for differentiable programming. We adopt two main perspectives, that of optimization and that of probability, with clear analogies between the two. Differentiable programming is not merely the differentiation of programs, but also the thoughtful design of programs intended for differentiation. By making programs differentiable, we inherently introduce probability distributions over their execution, providing a means to quantify the uncertainty associated with program outputs.
• Abstract（参考訳）: 人工知能は最近、大きなモデル、膨大なデータセット、ハードウェアの高速化、そして最後に、差別化可能なプログラミングの変革的なパワーによって、目覚ましい進歩を経験した。 この新しいプログラミングパラダイムは、複雑なコンピュータプログラム(制御フローやデータ構造を含む)のエンドツーエンドの微分を可能にし、プログラムパラメータの勾配に基づく最適化を可能にする。 新たなパラダイムとして、微分可能プログラミングは、自動微分、グラフィカルモデル、最適化、統計など、コンピュータ科学と応用数学のいくつかの分野に基盤を置いている。 本書は、微分可能プログラミングに有用な基本概念を包括的にレビューする。 最適化の観点と確率の観点という2つの主要な視点を採用し、両者の間に明らかな類似点がある。 微分可能プログラミングは単にプログラムの差別化ではなく、プログラムの差別化を意図した思慮深い設計である。 プログラムを識別可能にすることで、プログラムの実行上の確率分布を本質的に導入し、プログラム出力に関連する不確実性を定量化する手段を提供する。

関連論文リスト

• Probabilistic Programming with Programmable Variational Inference [45.593974530502095]
  本稿では,構成プログラム変換に基づくPPLの変分推論を支援するための,よりモジュラーなアプローチを提案する。 我々の設計は、自動微分、密度、トレーシング、偏りのない勾配推定戦略の適用など、多くの相互作用する関心事に関するモジュラー推論を可能にする。 我々は、JAXで実装されたGen確率型プログラミングシステム(genjax.vi)の拡張として、我々のアプローチを実装し、いくつかの深い生成モデリングタスクを評価する。
  論文  参考訳（メタデータ） (2024-06-22T05:49:37Z)
• Branches of a Tree: Taking Derivatives of Programs with Discrete and Branching Randomness in High Energy Physics [1.0587959762260988]
  我々は、最近のAD法を含むいくつかの勾配推定戦略について論じ、それらを簡易な検出器設計実験で比較した。 そうすることで私たちは、私たちの知る限り、最初の完全に差別化可能な分岐プログラムを開発します。
  論文  参考訳（メタデータ） (2023-08-31T12:32:34Z)
• $\omega$PAP Spaces: Reasoning Denotationally About Higher-Order, Recursive Probabilistic and Differentiable Programs [64.25762042361839]
  $omega$PAP 空間は表現的微分可能および確率的プログラミング言語についての推論のための空間である。 我々の意味論は、最も実践的な確率的で微分可能なプログラムに意味を割り当てるのに十分である。 確率プログラムのトレース密度関数のほぼすべての微分可能性を確立する。
  論文  参考訳（メタデータ） (2023-02-21T12:50:05Z)
• Differentiable programming: Generalization, characterization and limitations of deep learning [0.47791962198275073]
  我々は、微分可能プログラミングを定義し、また、微分可能プログラムに問題の構造を組み込むことができるいくつかのプログラム特性を規定する。 グラフデータセットの特定の問題に対して、より一般的なものからより具体的なものまで、さまざまな種類の微分可能プログラムを分析し、評価する。
  論文  参考訳（メタデータ） (2022-05-13T21:23:57Z)
• Differentiable Spline Approximations [48.10988598845873]
  微分プログラミングは機械学習のスコープを大幅に強化した。 標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。 この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-10-04T16:04:46Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• Differentiable Programming \`a la Moreau [4.289574109162585]
  我々はMoreauエンベロープに適応した構成計算を定義し、それを微分可能なプログラミングに統合する方法を示す。 提案するフレームワークは,数理最適化フレームワークにおいて,仮想対象の伝播の考え方に関連する勾配バックプロパゲーションのいくつかの変種をキャストする。
  論文  参考訳（メタデータ） (2020-12-31T05:56:51Z)
• Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
  ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。 我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。 私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
  論文  参考訳（メタデータ） (2020-07-23T16:07:39Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。