論文の概要: DaCe AD: Unifying High-Performance Automatic Differentiation for Machine Learning and Scientific Computing

• arxiv url: http://arxiv.org/abs/2509.02197v1
• Date: Tue, 02 Sep 2025 11:09:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:04.006258
• Title: DaCe AD: Unifying High-Performance Automatic Differentiation for Machine Learning and Scientific Computing
• Title（参考訳）: DaCe AD: 機械学習と科学コンピューティングのための高性能自動微分を統合する
• Authors: Afif Boudaoud, Alexandru Calotoiu, Marcin Copik, Torsten Hoefler,
• Abstract要約: この研究は、コード修正を必要としない汎用的で効率的な自動微分エンジンであるDaCe ADを提示する。 DaCe ADは、新しいILPベースのアルゴリズムを使用して、記憶と再計算の間のトレードオフを最適化し、与えられたメモリ制約内で最大性能を達成する。
• 参考スコア（独自算出の注目度）: 54.73410106410609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic differentiation (AD) is a set of techniques that systematically applies the chain rule to compute the gradients of functions without requiring human intervention. Although the fundamentals of this technology were established decades ago, it is experiencing a renaissance as it plays a key role in efficiently computing gradients for backpropagation in machine learning algorithms. AD is also crucial for many applications in scientific computing domains, particularly emerging techniques that integrate machine learning models within scientific simulations and schemes. Existing AD frameworks have four main limitations: limited support of programming languages, requiring code modifications for AD compatibility, limited performance on scientific computing codes, and a naive store-all solution for forward-pass data required for gradient calculations. These limitations force domain scientists to manually compute the gradients for large problems. This work presents DaCe AD, a general, efficient automatic differentiation engine that requires no code modifications. DaCe AD uses a novel ILP-based algorithm to optimize the trade-off between storing and recomputing to achieve maximum performance within a given memory constraint. We showcase the generality of our method by applying it to NPBench, a suite of HPC benchmarks with diverse scientific computing patterns, where we outperform JAX, a Python framework with state-of-the-art general AD capabilities, by more than 92 times on average without requiring any code changes.
• Abstract（参考訳）: 自動微分 (AD) は、人間の介入を必要としない関数の勾配を計算するために連鎖規則を体系的に適用する一連の手法である。 この技術の基礎は数十年前に確立されたが、機械学習アルゴリズムのバックプロパゲーションの勾配を効率的に計算する上で重要な役割を担っているため、ルネッサンスを経験している。 ADはまた、科学計算分野、特に科学シミュレーションとスキームに機械学習モデルを統合する新しい技術において、多くの応用において不可欠である。 既存のADフレームワークには、プログラミング言語のサポートの制限、AD互換性のためのコード修正の要求、科学計算コードのパフォーマンスの制限、グラデーション計算に必要なフォワードパスデータに対する単純なストアオールソリューションの4つの主な制限がある。 これらの制限により、ドメイン科学者は大きな問題に対する勾配を手動で計算せざるを得ない。 この研究は、コード修正を必要としない汎用的で効率的な自動微分エンジンであるDaCe ADを提示する。 DaCe ADは、新しいILPベースのアルゴリズムを使用して、記憶と再計算の間のトレードオフを最適化し、与えられたメモリ制約内で最大性能を達成する。 我々は、さまざまな科学計算パターンを持つHPCベンチマークスイートであるNPBenchに適用し、最新の一般AD機能を備えたPythonフレームワークであるJAXを、コード変更を必要とせずに平均92倍以上の性能で上回る方法の一般性を示す。

関連論文リスト

• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Accelerating Legacy Numerical Solvers by Non-intrusive Gradient-based Meta-solving [12.707050104493218]
  本研究では,機械学習とレガシー数値コードを組み合わせた新しい勾配推定手法を用いた非侵入的手法を提案する。 提案手法が他のベースラインよりも優れていることを示すとともに,PETScに実装された非自動微分可能な数値解法を高速化する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-05T14:39:43Z)
• Performance and Energy Consumption of Parallel Machine Learning Algorithms [0.0]
  機械学習モデルは、様々な現実世界のアプリケーションで顕著な成功を収めた。 機械学習のモデルトレーニングには、大規模データセットと複数のイテレーションが必要である。 トレーニングアルゴリズムの並列化は、トレーニングのプロセスを高速化するための一般的な戦略である。
  論文  参考訳（メタデータ） (2023-05-01T13:04:39Z)
• Efficient and Sound Differentiable Programming in a Functional Array-Processing Language [4.1779847272994495]
  自動微分 (AD) はプログラムで表される関数の微分を計算する手法である。 本稿では,高次関数型配列処理言語のためのADシステムを提案する。 フォワードモードADによる計算は、逆モードと同じくらい効率的に行うことができる。
  論文  参考訳（メタデータ） (2022-12-20T14:54:47Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Randomized Automatic Differentiation [22.95414996614006]
  我々は、ランダム化自動微分(RAD)のための一般的なフレームワークとアプローチを開発する。 RADは、分散の見返りにメモリを減らし、バイアスのない見積もりを計算できる。 本稿では,フィードフォワードネットワークのバッチサイズを小さくし,繰り返しネットワークの場合と同様の回数でRADが収束することを示す。
  論文  参考訳（メタデータ） (2020-07-20T19:03:44Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• Automatic Differentiation in ROOT [62.997667081978825]
  数学と計算機代数において、自動微分 (AD) は、コンピュータプログラムによって指定された関数の微分を評価するための一連の技術である。 本稿では、任意のC/C++関数の導関数を生成するために、ClingがサポートするROOTで利用可能なAD技術を提案する。
  論文  参考訳（メタデータ） (2020-04-09T09:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。