論文の概要: Collapsing Taylor Mode Automatic Differentiation

• arxiv url: http://arxiv.org/abs/2505.13644v1
• Date: Mon, 19 May 2025 18:31:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.483418
• Title: Collapsing Taylor Mode Automatic Differentiation
• Title（参考訳）: 衝突型テイラーモード自動微分
• Authors: Felix Dangel, Tim Siebert, Marius Zeinhofer, Andrea Walther,
• Abstract要約: 計算グラフを書き換えることで導関数を「分解」するテイラーモードの最適化手法を提案する。 一般線形PDE演算子やランダム化Taylorモードに適用する方法を示す。 崩壊手順を実装し、人気のあるPDE演算子で評価し、Taylorモードを高速化し、ネストしたバックプロパゲーションより優れていることを確認した。
• 参考スコア（独自算出の注目度）: 1.974926864871559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computing partial differential equation (PDE) operators via nested backpropagation is expensive, yet popular, and severely restricts their utility for scientific machine learning. Recent advances, like the forward Laplacian and randomizing Taylor mode automatic differentiation (AD), propose forward schemes to address this. We introduce an optimization technique for Taylor mode that 'collapses' derivatives by rewriting the computational graph, and demonstrate how to apply it to general linear PDE operators, and randomized Taylor mode. The modifications simply require propagating a sum up the computational graph, which could -- or should -- be done by a machine learning compiler, without exposing complexity to users. We implement our collapsing procedure and evaluate it on popular PDE operators, confirming it accelerates Taylor mode and outperforms nested backpropagation.
• Abstract（参考訳）: ネストしたバックプロパゲーションを通した偏微分方程式(PDE)演算子は高価だが人気があり、科学的な機械学習の用途を厳しく制限している。 前方ラプラシアンやランダム化テイラーモード自動微分(AD)のような最近の進歩は、この問題に対処するための前方計画を提案する。 計算グラフを書き換えることで導関数を「分解」するテイラーモードの最適化手法を導入し、一般線形PDE演算子に適用する方法とランダム化テイラーモードを示す。 この修正は単に計算グラフの総和を伝搬するだけでいい。これは、複雑をユーザに公開することなく、機械学習コンパイラによって実行される可能性がある。 崩壊手順を実装し、人気のあるPDE演算子で評価し、Taylorモードを高速化し、ネストしたバックプロパゲーションより優れていることを確認した。

関連論文リスト

• Random Function Descent [0.0]
  a'tochastic Taylor' to gradient descent is scalable in high yields。 具体的には、高収率でスケーラブルな勾配降下に'tochastic Taylor' を用いる。
  論文  参考訳（メタデータ） (2023-05-02T12:53:50Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Solving high-dimensional parabolic PDEs using the tensor train format [1.1470070927586016]
  テンソル列車はパラボリックPDEに魅力的な近似フレームワークを提供すると主張している。 明示的かつ速く,暗黙的に,正確な更新を含む,新しい反復的スキームを開発します。
  論文  参考訳（メタデータ） (2021-02-23T18:04:00Z)
• A probabilistic Taylor expansion with Gaussian processes [8.840147522046651]
  我々は、後進平均が特定のデータ選択に対して、任意の順序の切り詰められたテイラー展開を複製するガウス過程のクラスを研究する。 我々はTaylorカーネルのパラメータの最大推定について議論し、いくつかの結果を証明した。
  論文  参考訳（メタデータ） (2021-02-01T14:36:34Z)
• Alternating minimization algorithms for graph regularized tensor completion [8.26185178671935]
  我々は、低ランクテンソル完備化(LRTC)に対するカノニカルポリアディック(CP)分解法を考える。 グラフ正規化の使用にはLRTCの学習精度のメリットが伴うが、同時に結合グラフラプラシア語を誘導する。 基礎となるCP分解モデルにおけるブロック構造を利用して, 効率の良い同期最小化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-28T23:20:49Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。