論文の概要: Coarsening Optimization for Differentiable Programming

• arxiv url: http://arxiv.org/abs/2110.02307v1
• Date: Tue, 5 Oct 2021 19:11:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 11:56:02.205158
• Title: Coarsening Optimization for Differentiable Programming
• Title（参考訳）: 微分プログラミングのための粗大化最適化
• Authors: Xipeng Shen, Guoqiang Zhang, Irene Dea, Samantha Andow, Emilio Arroyo-Fang, Neal Gafter, Johann George, Melissa Grueter, Erik Meijer, Steffi Stumpos, Alanna Tempest, Christy Warden, Shannon Yang
• Abstract要約: 粗い最適化は、象徴的分化とアルゴリズム的分化(AD)を相乗化するための体系的な方法を提供する 粗大化の象徴的分化に制御フローが生み出す困難を回避するため、この研究はフィカルキュラスを導入している。 実世界のアプリケーションの集合に関する実験では、粗大化最適化はADの高速化に有効であり、数倍から2桁のスピードアップを生み出すことが示されている。
• 参考スコア（独自算出の注目度）: 8.204668529766256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel optimization for differentiable programming named coarsening optimization. It offers a systematic way to synergize symbolic differentiation and algorithmic differentiation (AD). Through it, the granularity of the computations differentiated by each step in AD can become much larger than a single operation, and hence lead to much reduced runtime computations and data allocations in AD. To circumvent the difficulties that control flow creates to symbolic differentiation in coarsening, this work introduces phi-calculus, a novel method to allow symbolic reasoning and differentiation of computations that involve branches and loops. It further avoids "expression swell" in symbolic differentiation and balance reuse and coarsening through the design of reuse-centric segment of interest identification. Experiments on a collection of real-world applications show that coarsening optimization is effective in speeding up AD, producing several times to two orders of magnitude speedups.
• Abstract（参考訳）: 本稿では,粗化最適化という,微分可能プログラミングの新しい最適化手法を提案する。 象徴的分化とアルゴリズム的分化(AD)を統括する体系的な方法を提供する。 これにより、ADの各ステップで区別される計算の粒度は、単一の演算よりもはるかに大きくなり、ADのランタイム計算やデータアロケーションが大幅に削減される。 そこで本研究では,分岐やループを含む計算の記号的推論と微分を可能にする新しい手法であるphi-calculusを提案する。 さらに、再利用中心の関心の識別セグメントの設計を通じて、象徴的な分化と再利用のバランス、粗い粒度において「表現の膨らみ」を避ける。 実世界のアプリケーションの集合に関する実験では、粗大化最適化はADの高速化に有効であり、数倍から2桁のスピードアップを生み出す。

関連論文リスト

• Automatic Differentiation of Optimization Algorithms with Time-Varying Updates [4.389150156866014]
  本研究では, 時間変化した反復過程に非回転あるいは自動微分を適用し, 導関数の収束保証を行う。 我々はこれらの収束結果に適応し、部分スムーズな問題を解く際に、可変ステップサイズとFISTAによる近位勾配降下に適用する。 理論的および数値的な結果は,アルゴリズムの収束速度が微分イテレートに反映されていることを示している。
  論文  参考訳（メタデータ） (2024-10-21T11:53:49Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• One-step differentiation of iterative algorithms [7.9495796547433395]
  本稿では, 自動微分法としての一段階微分法, あるいはジャコビアンフリーバックプロパゲーションについて検討する。 両レベル最適化の結果とともに, 具体例を用いた完全理論的近似解析を行う。
  論文  参考訳（メタデータ） (2023-05-23T07:32:37Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Efficient differentiable quadratic programming layers: an ADMM approach [0.0]
  乗算器の交互方向法(ADMM)に基づく代替ネットワーク層アーキテクチャを提案する。 後方微分は、修正された固定点反復の残差写像の暗黙の微分によって行われる。 シミュレーションの結果は、中規模の問題に対してOptNet二次プログラミング層よりも約1桁高速であるADMM層の計算上の利点を示している。
  論文  参考訳（メタデータ） (2021-12-14T15:25:07Z)
• Efficient and Modular Implicit Differentiation [68.74748174316989]
  最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。 一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
  論文  参考訳（メタデータ） (2021-05-31T17:45:58Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。