Fugu-MT 論文翻訳(概要): Differentiable Programming \`a la Moreau

論文の概要: Differentiable Programming \`a la Moreau

arxiv url: http://arxiv.org/abs/2012.15458v1
Date: Thu, 31 Dec 2020 05:56:51 GMT
ステータス: 処理完了
システム内更新日: 2021-04-17 17:21:52.971571
Title: Differentiable Programming \`a la Moreau
Title（参考訳）: 微分可能プログラミング \`a la Moreau
Authors: Vincent Roulet and Zaid Harchaoui
Abstract要約: 我々はMoreauエンベロープに適応した構成計算を定義し、それを微分可能なプログラミングに統合する方法を示す。提案するフレームワークは,数理最適化フレームワークにおいて,仮想対象の伝播の考え方に関連する勾配バックプロパゲーションのいくつかの変種をキャストする。
参考スコア（独自算出の注目度）: 4.289574109162585
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The notion of a Moreau envelope is central to the analysis of first-order optimization algorithms for machine learning. Yet, it has not been developed and extended to be applied to a deep network and, more broadly, to a machine learning system with a differentiable programming implementation. We define a compositional calculus adapted to Moreau envelopes and show how to integrate it within differentiable programming. The proposed framework casts in a mathematical optimization framework several variants of gradient back-propagation related to the idea of the propagation of virtual targets.
Abstract（参考訳）: モロー包絡の概念は、機械学習のための一階最適化アルゴリズムの解析の中心である。しかし、深層ネットワークや、より広い意味で、微分可能なプログラミング実装を持つ機械学習システムに適用するために、開発や拡張はされていない。モローエンベロープに適応した構成計算を定義し、それを微分可能プログラミングに統合する方法を示す。提案するフレームワークは,数理最適化フレームワークにおいて,仮想対象の伝播の考え方に関連する勾配バックプロパゲーションのいくつかの変種をキャストする。

関連論文リスト

The Elements of Differentiable Programming [14.197724178748176]
微分可能プログラミングは複雑なコンピュータプログラムのエンドツーエンドの微分を可能にする。微分プログラミングは、コンピュータ科学と応用数学のいくつかの領域の上に構築されている。
論文参考訳（メタデータ） (2024-03-21T17:55:16Z)
Fast and Scalable Network Slicing by Integrating Deep Learning with Lagrangian Methods [8.72339110741777]
ネットワークスライシングは、多種多様なサービスを効率的にサポートするために、5G以上の重要なテクニックである。ディープラーニングモデルは、動的スライシング構成に対する限定的な一般化と適応性に悩まされる。本稿では,制約付き最適化手法とディープラーニングモデルを統合する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-22T07:19:16Z)
A Gentle Introduction to Gradient-Based Optimization and Variational Inequalities for Machine Learning [46.98201017084005]
機械学習における勾配に基づくアルゴリズムのフレームワークを提供する。まず、サドル点と単調ゲームから始め、一般的な変分不等式へと進む。いくつかのアルゴリズムに収束証明を提供していますが、主な焦点はモチベーションと直感を提供することです。
論文参考訳（メタデータ） (2023-09-09T21:36:51Z)
Branches of a Tree: Taking Derivatives of Programs with Discrete and Branching Randomness in High Energy Physics [1.0587959762260988]
我々は、最近のAD法を含むいくつかの勾配推定戦略について論じ、それらを簡易な検出器設計実験で比較した。そうすることで私たちは、私たちの知る限り、最初の完全に差別化可能な分岐プログラムを開発します。
論文参考訳（メタデータ） (2023-08-31T12:32:34Z)
On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文参考訳（メタデータ） (2022-06-30T05:29:52Z)
Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文参考訳（メタデータ） (2022-05-23T18:54:27Z)
Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文参考訳（メタデータ） (2022-05-05T13:40:08Z)
Differentiable Spline Approximations [48.10988598845873]
微分プログラミングは機械学習のスコープを大幅に強化した。標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
論文参考訳（メタデータ） (2021-10-04T16:04:46Z)
A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
論文参考訳（メタデータ） (2020-06-26T08:34:54Z)
An Elementary Approach to Convergence Guarantees of Optimization Algorithms for Deep Networks [2.715884199292287]
本稿では,オラクルの基本的な議論と計算に基づいて,ディープ・ネットワークに対する最適化アルゴリズムの収束保証を得る手法を提案する。本研究では、ディープネットワークのトレーニングに使用される一階最適化アルゴリズムの収束挙動を制御した滑らか度定数の推定値を計算する体系的な方法を提案する。
論文参考訳（メタデータ） (2020-02-20T22:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。