論文の概要: Sparser, Better, Faster, Stronger: Sparsity Detection for Efficient Automatic Differentiation

• arxiv url: http://arxiv.org/abs/2501.17737v2
• Date: Wed, 11 Jun 2025 14:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 02:07:43.057859
• Title: Sparser, Better, Faster, Stronger: Sparsity Detection for Efficient Automatic Differentiation
• Title（参考訳）: スペーサー、より速く、より強く、より効率的な自動微分のためのスペーサー検出
• Authors: Adrian Hill, Guillaume Dalle,
• Abstract要約: ヤコビアン行列とヘッセン行列は機械学習(ML)における多くの潜在的なユースケースを持つ 本稿では, 自動スパース差分法(ASD)の性能ボトルネックである疎度検出の進歩について述べる。 科学ML,グラフニューラルネットワーク,最適化といった実世界の問題に対して,最大3桁の大幅なスピードアップを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: From implicit differentiation to probabilistic modeling, Jacobian and Hessian matrices have many potential use cases in Machine Learning (ML), but they are viewed as computationally prohibitive. Fortunately, these matrices often exhibit sparsity, which can be leveraged to speed up the process of Automatic Differentiation (AD). This paper presents advances in sparsity detection, previously the performance bottleneck of Automatic Sparse Differentiation (ASD). Our implementation of sparsity detection is based on operator overloading, able to detect both local and global sparsity patterns, and supports flexible index set representations. It is fully automatic and requires no modification of user code, making it compatible with existing ML codebases. Most importantly, it is highly performant, unlocking Jacobians and Hessians at scales where they were considered too expensive to compute. On real-world problems from scientific ML, graph neural networks and optimization, we show significant speed-ups of up to three orders of magnitude. Notably, using our sparsity detection system, ASD outperforms standard AD for one-off computations, without amortization of either sparsity detection or matrix coloring.
• Abstract（参考訳）: 暗黙的な微分から確率的モデリングに至るまで、ヤコビアン行列とヘッセン行列は機械学習(ML)において多くの潜在的なユースケースを持つが、それらは計算的に禁止されていると見なされている。 幸いなことに、これらの行列はスパース性を示すことが多く、自動微分(AD)プロセスの高速化に利用することができる。 本稿では,Sparse Differentiation (ASD) の性能ボトルネックであるスペーサ検出の進歩について述べる。 スパシティ検出の実装は演算子のオーバーロードに基づいており、局所的およびグローバルなスパシティパターンの両方を検出でき、フレキシブルなインデックスセット表現をサポートしています。 完全に自動化されており、ユーザコードの修正を必要としないため、既存のMLコードベースと互換性がある。 最も重要な点として、ハイパフォーマンスであり、計算するには高すぎると考えられていたジャコビアンとヘッセンをスケールで解き放つ。 科学ML、グラフニューラルネットワーク、最適化による実世界の問題について、最大3桁のスピードアップを示す。 特に、我々のスパーシリティ検出システムを用いて、ASDは、スペーシリティ検出またはマトリックスカラー化の両方のアモーティゼーションを伴わず、ワンオフ計算の標準ADよりも優れている。

関連論文リスト

• Periodic Online Testing for Sparse Systolic Tensor Arrays [0.0]
  モダン機械学習(ML)アプリケーションは、しばしば構造化されたスパーシティの恩恵を受ける。これは、モデルの複雑さを効率的に低減し、ハードウェア内のスパースデータの処理を単純化するテクニックである。 本稿では,ベクトルの開始前にスパルス・シストリック・テンソルアレイ内の永久断層を検出し,検出するオンラインエラーチェック手法を提案する。
  論文  参考訳（メタデータ） (2025-04-25T18:10:45Z)
• Sparser Training for On-Device Recommendation Systems [50.74019319100728]
  動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。 これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
  論文  参考訳（メタデータ） (2024-11-19T03:48:48Z)
• Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication [0.8363939984237685]
  スパース行列行列行列乗法(SpGEMM)は、科学計算、グラフ解析、ディープラーニングにおいて重要な演算である。 従来のハードウェアアクセラレータは、固定されたデータフロースキームを備えた特定のスパーシティパターン用に調整されている。 本稿では,SpGEMMタスクに最適なデータフロースキームを適応的に選択するための機械学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-14T16:36:35Z)
• Optimizing Automatic Differentiation with Deep Reinforcement Learning [0.9353041869660692]
  深部強化学習(RL)を利用したヤコビ計算に必要な乗算数を最適化する新しい手法を提案する。 本手法は,様々な領域から取得した複数のタスクに対して,最先端の手法よりも最大33%改善できることを示す。
  論文  参考訳（メタデータ） (2024-06-07T15:44:33Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Masked Matrix Multiplication for Emergent Sparsity [1.4786952412297807]
  トランスフォーマーモデルは、計算が高密度データへの選択的スパースアクセスを実行する創発的な空間を示す。 ベクトル化および並列行列乗算システム A X B = C を構築し,不要な計算を除去する。
  論文  参考訳（メタデータ） (2024-02-21T20:36:08Z)
• Automatic Task Parallelization of Dataflow Graphs in ML/DL models [0.0]
  本稿では,MLデータフローグラフに固有の並列パスを利用する線形クラスタリング手法を提案する。 我々はONNX形式で入力MLモデルから可読かつ実行可能な並列Pytorch+Pythonコードを生成する。 いくつかのMLグラフの予備結果は、シリアル実行よりも1.9$times$スピードアップである。
  論文  参考訳（メタデータ） (2023-08-22T04:54:30Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Unified Functional Hashing in Automatic Machine Learning [58.77232199682271]
  高速に統一された関数型ハッシュを用いることで,大きな効率向上が得られることを示す。 私たちのハッシュは"機能的"であり、表現やコードが異なる場合でも同等の候補を識別します。 ニューラルアーキテクチャ検索やアルゴリズム発見など、複数のAutoMLドメインで劇的な改善がなされている。
  論文  参考訳（メタデータ） (2023-02-10T18:50:37Z)
• Learning Decorrelated Representations Efficiently Using Fast Fourier Transform [3.932322649674071]
  高速フーリエ変換によりO(n d log d)時間で計算できる緩和された非相関正規化器を提案する。 提案した正則化器は、ダウンストリームタスクにおける既存の正則化器に匹敵する精度を示す。
  論文  参考訳（メタデータ） (2023-01-04T12:38:08Z)
• Generalized Differentiable RANSAC [95.95627475224231]
  $nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。 $nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
  論文  参考訳（メタデータ） (2022-12-26T15:13:13Z)
• Optimized Sparse Matrix Operations for Reverse Mode Automatic Differentiation [3.72826300260966]
  本稿では,PyTorch のための CSR ベースのスパース行列ラッパーの実装について述べる。 また,結果のスパースカーネルを最適化に応用し,実装や性能測定の容易さを高密度カーネルと比較した。
  論文  参考訳（メタデータ） (2022-12-10T00:46:51Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
  EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。 本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
  論文  参考訳（メタデータ） (2022-07-09T09:14:12Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Tensor Relational Algebra for Machine Learning System Design [7.764107702934616]
  本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。 TRA は、リレーショナル代数に基づく集合基底代数である。 我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-09-01T15:51:24Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。