論文の概要: Differentiable Programming \`a la Moreau

• arxiv url: http://arxiv.org/abs/2012.15458v1
• Date: Thu, 31 Dec 2020 05:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:21:52.971571
• Title: Differentiable Programming \`a la Moreau
• Title（参考訳）: 微分可能プログラミング \`a la Moreau
• Authors: Vincent Roulet and Zaid Harchaoui
• Abstract要約: 我々はMoreauエンベロープに適応した構成計算を定義し、それを微分可能なプログラミングに統合する方法を示す。 提案するフレームワークは,数理最適化フレームワークにおいて,仮想対象の伝播の考え方に関連する勾配バックプロパゲーションのいくつかの変種をキャストする。
• 参考スコア（独自算出の注目度）: 4.289574109162585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The notion of a Moreau envelope is central to the analysis of first-order optimization algorithms for machine learning. Yet, it has not been developed and extended to be applied to a deep network and, more broadly, to a machine learning system with a differentiable programming implementation. We define a compositional calculus adapted to Moreau envelopes and show how to integrate it within differentiable programming. The proposed framework casts in a mathematical optimization framework several variants of gradient back-propagation related to the idea of the propagation of virtual targets.
• Abstract（参考訳）: モロー包絡の概念は、機械学習のための一階最適化アルゴリズムの解析の中心である。 しかし、深層ネットワークや、より広い意味で、微分可能なプログラミング実装を持つ機械学習システムに適用するために、開発や拡張はされていない。 モローエンベロープに適応した構成計算を定義し、それを微分可能プログラミングに統合する方法を示す。 提案するフレームワークは,数理最適化フレームワークにおいて,仮想対象の伝播の考え方に関連する勾配バックプロパゲーションのいくつかの変種をキャストする。

関連論文リスト

• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• A Unified Framework for Implicit Sinkhorn Differentiation [58.56866763433335]
  暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。 特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
  論文  参考訳（メタデータ） (2022-05-13T14:45:31Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
  本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。 性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
  論文  参考訳（メタデータ） (2022-05-03T07:54:56Z)
• Efficient differentiable quadratic programming layers: an ADMM approach [0.0]
  乗算器の交互方向法(ADMM)に基づく代替ネットワーク層アーキテクチャを提案する。 後方微分は、修正された固定点反復の残差写像の暗黙の微分によって行われる。 シミュレーションの結果は、中規模の問題に対してOptNet二次プログラミング層よりも約1桁高速であるADMM層の計算上の利点を示している。
  論文  参考訳（メタデータ） (2021-12-14T15:25:07Z)
• Differentiable Spline Approximations [48.10988598845873]
  微分プログラミングは機械学習のスコープを大幅に強化した。 標準的な微分可能なプログラミング手法(autodiffなど)は、通常、機械学習モデルが微分可能であることを要求する。 この再設計されたヤコビアンを予測モデルにおける微分可能な「層」の形で活用することで、多様なアプリケーションの性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-10-04T16:04:46Z)
• Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond [114.39616146985001]
  機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
  論文  参考訳（メタデータ） (2021-01-27T16:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。