論文の概要: Sparser, Better, Faster, Stronger: Sparsity Detection for Efficient Automatic Differentiation
- arxiv url: http://arxiv.org/abs/2501.17737v2
- Date: Wed, 11 Jun 2025 14:56:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 02:07:43.057859
- Title: Sparser, Better, Faster, Stronger: Sparsity Detection for Efficient Automatic Differentiation
- Title（参考訳）: スペーサー、より速く、より強く、より効率的な自動微分のためのスペーサー検出
- Authors: Adrian Hill, Guillaume Dalle,
- Abstract要約: ヤコビアン行列とヘッセン行列は機械学習(ML)における多くの潜在的なユースケースを持つ
本稿では, 自動スパース差分法(ASD)の性能ボトルネックである疎度検出の進歩について述べる。
科学ML,グラフニューラルネットワーク,最適化といった実世界の問題に対して,最大3桁の大幅なスピードアップを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: From implicit differentiation to probabilistic modeling, Jacobian and Hessian matrices have many potential use cases in Machine Learning (ML), but they are viewed as computationally prohibitive. Fortunately, these matrices often exhibit sparsity, which can be leveraged to speed up the process of Automatic Differentiation (AD). This paper presents advances in sparsity detection, previously the performance bottleneck of Automatic Sparse Differentiation (ASD). Our implementation of sparsity detection is based on operator overloading, able to detect both local and global sparsity patterns, and supports flexible index set representations. It is fully automatic and requires no modification of user code, making it compatible with existing ML codebases. Most importantly, it is highly performant, unlocking Jacobians and Hessians at scales where they were considered too expensive to compute. On real-world problems from scientific ML, graph neural networks and optimization, we show significant speed-ups of up to three orders of magnitude. Notably, using our sparsity detection system, ASD outperforms standard AD for one-off computations, without amortization of either sparsity detection or matrix coloring.
- Abstract（参考訳）: 暗黙的な微分から確率的モデリングに至るまで、ヤコビアン行列とヘッセン行列は機械学習(ML)において多くの潜在的なユースケースを持つが、それらは計算的に禁止されていると見なされている。
幸いなことに、これらの行列はスパース性を示すことが多く、自動微分(AD)プロセスの高速化に利用することができる。
本稿では,Sparse Differentiation (ASD) の性能ボトルネックであるスペーサ検出の進歩について述べる。
スパシティ検出の実装は演算子のオーバーロードに基づいており、局所的およびグローバルなスパシティパターンの両方を検出でき、フレキシブルなインデックスセット表現をサポートしています。
完全に自動化されており、ユーザコードの修正を必要としないため、既存のMLコードベースと互換性がある。
最も重要な点として、ハイパフォーマンスであり、計算するには高すぎると考えられていたジャコビアンとヘッセンをスケールで解き放つ。
科学ML、グラフニューラルネットワーク、最適化による実世界の問題について、最大3桁のスピードアップを示す。
特に、我々のスパーシリティ検出システムを用いて、ASDは、スペーシリティ検出またはマトリックスカラー化の両方のアモーティゼーションを伴わず、ワンオフ計算の標準ADよりも優れている。
関連論文リスト
- Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication [0.8363939984237685]
スパース行列行列行列乗法(SpGEMM)は、科学計算、グラフ解析、ディープラーニングにおいて重要な演算である。
従来のハードウェアアクセラレータは、固定されたデータフロースキームを備えた特定のスパーシティパターン用に調整されている。
本稿では,SpGEMMタスクに最適なデータフロースキームを適応的に選択するための機械学習に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2024-06-14T16:36:35Z) - Optimizing Automatic Differentiation with Deep Reinforcement Learning [0.9353041869660692]
深部強化学習(RL)を利用したヤコビ計算に必要な乗算数を最適化する新しい手法を提案する。
本手法は,様々な領域から取得した複数のタスクに対して,最先端の手法よりも最大33%改善できることを示す。
論文 参考訳（メタデータ） (2024-06-07T15:44:33Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳（メタデータ） (2024-04-18T09:17:06Z) - Automatic Task Parallelization of Dataflow Graphs in ML/DL models [0.0]
本稿では,MLデータフローグラフに固有の並列パスを利用する線形クラスタリング手法を提案する。
我々はONNX形式で入力MLモデルから可読かつ実行可能な並列Pytorch+Pythonコードを生成する。
いくつかのMLグラフの予備結果は、シリアル実行よりも1.9$times$スピードアップである。
論文 参考訳（メタデータ） (2023-08-22T04:54:30Z) - Learning Decorrelated Representations Efficiently Using Fast Fourier
Transform [3.932322649674071]
高速フーリエ変換によりO(n d log d)時間で計算できる緩和された非相関正規化器を提案する。
提案した正則化器は、ダウンストリームタスクにおける既存の正則化器に匹敵する精度を示す。
論文 参考訳（メタデータ） (2023-01-04T12:38:08Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。
本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
論文 参考訳（メタデータ） (2022-07-09T09:14:12Z) - Highly Parallel Autoregressive Entity Linking with Discriminative
Correction [51.947280241185]
自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。
我々のモデルは以前の生成法より70倍高速で精度が高い。
論文 参考訳（メタデータ） (2021-09-08T17:28:26Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳（メタデータ） (2020-11-14T09:51:51Z) - Tensor Relational Algebra for Machine Learning System Design [7.764107702934616]
本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。
TRA は、リレーショナル代数に基づく集合基底代数である。
我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2020-09-01T15:51:24Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳（メタデータ） (2020-06-07T15:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。