論文の概要: Sparser, Better, Faster, Stronger: Efficient Automatic Differentiation for Sparse Jacobians and Hessians

• arxiv url: http://arxiv.org/abs/2501.17737v1
• Date: Wed, 29 Jan 2025 16:21:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:53:02.922580
• Title: Sparser, Better, Faster, Stronger: Efficient Automatic Differentiation for Sparse Jacobians and Hessians
• Title（参考訳）: スパースジャコビアンとヘッセン人のスペーサー, より速く, より強く, より効率的な自動識別法
• Authors: Adrian Hill, Guillaume Dalle,
• Abstract要約: ヤコビアンとヘッセンは機械学習(ML)において多くの潜在的なユースケースを持っているが、従来の知恵ではそれらが計算的に禁止されているとみなしている。 本稿では,スパース差分法(ASD)の進歩について述べる。 また,Julia における新しい ASD パイプラインについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: From implicit differentiation to probabilistic modeling, Jacobians and Hessians have many potential use cases in Machine Learning (ML), but conventional wisdom views them as computationally prohibitive. Fortunately, these matrices often exhibit sparsity, which can be leveraged to significantly speed up the process of Automatic Differentiation (AD). This paper presents advances in Automatic Sparse Differentiation (ASD), starting with a new perspective on sparsity detection. Our refreshed exposition is based on operator overloading, able to detect both local and global sparsity patterns, and naturally avoids dead ends in the control flow graph. We also describe a novel ASD pipeline in Julia, consisting of independent software packages for sparsity detection, matrix coloring, and differentiation, which together enable ASD based on arbitrary AD backends. Our pipeline is fully automatic and requires no modification of existing code, making it compatible with existing ML codebases. We demonstrate that this pipeline unlocks Jacobian and Hessian matrices at scales where they were considered too expensive to compute. On real-world problems from scientific ML and optimization, we show significant speed-ups of up to three orders of magnitude. Notably, our ASD pipeline often outperforms standard AD for one-off computations, once thought impractical due to slower sparsity detection methods.
• Abstract（参考訳）: 暗黙の微分から確率的モデリングまで、ヤコビアンとヘッセンは機械学習(ML)において多くの潜在的なユースケースを持っているが、従来の知恵ではそれらが計算的に禁じられているとみなしている。 幸いなことに、これらの行列はスパース性を示すことが多く、自動微分(AD)のプロセスを大幅に高速化するために利用することができる。 本稿では,スパース差分法(ASD)の進歩について述べる。 我々のリフレッシュされたエクスポジションは演算子のオーバーロードに基づいており、ローカルとグローバルの両方のスパーシティパターンを検出でき、制御フローグラフのデッドエンドを自然に回避できる。 また,Julia の ASD パイプラインを新たに記述し,任意の AD バックエンドをベースとした ASD を可能にする。 私たちのパイプラインは完全に自動で、既存のコードを変更する必要はなく、既存のMLコードベースと互換性があります。 このパイプラインがJacobianとHessianの行列を計算に高すぎると判断されたスケールでアンロックすることを実証した。 科学MLと最適化による実世界の問題では、最大3桁のスピードアップを示す。 特に、我々のASDパイプラインは、しばしば1オフ計算の標準ADよりも優れており、かつてはスパーシリティ検出の手法が遅いため、実用的ではないと考えられていました。

関連論文リスト

• Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication [0.8363939984237685]
  スパース行列行列行列乗法(SpGEMM)は、科学計算、グラフ解析、ディープラーニングにおいて重要な演算である。 従来のハードウェアアクセラレータは、固定されたデータフロースキームを備えた特定のスパーシティパターン用に調整されている。 本稿では,SpGEMMタスクに最適なデータフロースキームを適応的に選択するための機械学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-14T16:36:35Z)
• Optimizing Automatic Differentiation with Deep Reinforcement Learning [0.9353041869660692]
  深部強化学習(RL)を利用したヤコビ計算に必要な乗算数を最適化する新しい手法を提案する。 本手法は,様々な領域から取得した複数のタスクに対して,最先端の手法よりも最大33%改善できることを示す。
  論文  参考訳（メタデータ） (2024-06-07T15:44:33Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Automatic Task Parallelization of Dataflow Graphs in ML/DL models [0.0]
  本稿では,MLデータフローグラフに固有の並列パスを利用する線形クラスタリング手法を提案する。 我々はONNX形式で入力MLモデルから可読かつ実行可能な並列Pytorch+Pythonコードを生成する。 いくつかのMLグラフの予備結果は、シリアル実行よりも1.9$times$スピードアップである。
  論文  参考訳（メタデータ） (2023-08-22T04:54:30Z)
• Learning Decorrelated Representations Efficiently Using Fast Fourier Transform [3.932322649674071]
  高速フーリエ変換によりO(n d log d)時間で計算できる緩和された非相関正規化器を提案する。 提案した正則化器は、ダウンストリームタスクにおける既存の正則化器に匹敵する精度を示す。
  論文  参考訳（メタデータ） (2023-01-04T12:38:08Z)
• Generalized Differentiable RANSAC [95.95627475224231]
  $nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。 $nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
  論文  参考訳（メタデータ） (2022-12-26T15:13:13Z)
• Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
  EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。 本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
  論文  参考訳（メタデータ） (2022-07-09T09:14:12Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Tensor Relational Algebra for Machine Learning System Design [7.764107702934616]
  本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。 TRA は、リレーショナル代数に基づく集合基底代数である。 我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-09-01T15:51:24Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。