論文の概要: $\nabla$SD: Differentiable Programming for Sparse Tensors

• arxiv url: http://arxiv.org/abs/2303.07030v1
• Date: Mon, 13 Mar 2023 11:45:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 15:28:47.957150
• Title: $\nabla$SD: Differentiable Programming for Sparse Tensors
• Title（参考訳）: $\nabla$SD:スパーステンソルの微分可能なプログラミング
• Authors: Amir Shaikhha, Mathieu Huot, Shideh Hashemian
• Abstract要約: スパーステンソルの効率的な微分を可能にする新しいフレームワークを提案する。 提案手法の有効性を,性能と拡張性の観点から実証した。 我々のアプローチは、機械学習、自然言語処理、科学計算において多くの応用に重大な影響を及ぼす。
• 参考スコア（独自算出の注目度）: 0.19336815376402716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse tensors are prevalent in many data-intensive applications, yet existing differentiable programming frameworks are tailored towards dense tensors. This presents a significant challenge for efficiently computing gradients through sparse tensor operations, as their irregular sparsity patterns can result in substantial memory and computational overheads. In this work, we introduce a novel framework that enables the efficient and automatic differentiation of sparse tensors, addressing this fundamental issue. Our experiments demonstrate the effectiveness of the proposed framework in terms of performance and scalability, outperforming state-of-the-art frameworks across a range of synthetic and real-world datasets. Our approach offers a promising direction for enabling efficient and scalable differentiable programming with sparse tensors, which has significant implications for numerous applications in machine learning, natural language processing, and scientific computing.
• Abstract（参考訳）: スパーステンソルは多くのデータ集約型アプリケーションで一般的であるが、既存の微分可能なプログラミングフレームワークは高密度テンソル向けに調整されている。 これは、不規則なスパーシティパターンが実質的なメモリと計算上のオーバーヘッドをもたらす可能性があるため、スパーステンソル演算による勾配を効率的に計算するための重要な課題である。 本研究では,スパーステンソルの効率的かつ自動微分を可能にする新しいフレームワークを導入し,この問題に対処する。 実験では,提案するフレームワークの有効性を,パフォーマンスとスケーラビリティの観点から実証し,さまざまな合成および実世界のデータセットで最先端のフレームワークより優れていることを示した。 私たちのアプローチは、スパーステンソルを用いた効率的でスケーラブルな微分可能プログラミングを可能にするための、有望な方向性を提供します。

関連論文リスト

• A Generic Performance Model for Deep Learning in a Distributed Environment [0.7829352305480285]
  本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。 提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
  論文  参考訳（メタデータ） (2023-05-19T13:30:34Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• TensorIR: An Abstraction for Automatic Tensorized Program Optimization [22.812702519665617]
  本稿では,テンソル計算プリミティブでプログラムを最適化するコンパイラIRを提案する。 コンパイルの上にエンドツーエンドのフレームワークを構築し、与えられたテンソル計算プリミティブに対してディープラーニングモデルを自動的に最適化します。
  論文  参考訳（メタデータ） (2022-07-09T16:28:57Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Deep Efficient Continuous Manifold Learning for Time Series Modeling [11.876985348588477]
  対称正定値行列はコンピュータビジョン、信号処理、医療画像解析において研究されている。 本稿では,リーマン多様体とコレスキー空間の間の微分同相写像を利用する枠組みを提案する。 時系列データの動的モデリングのために,多様体常微分方程式とゲートリカレントニューラルネットワークを体系的に統合した連続多様体学習法を提案する。
  論文  参考訳（メタデータ） (2021-12-03T01:38:38Z)
• The Presence and Absence of Barren Plateaus in Tensor-network Based Machine Learning [0.0]
  テンソルネットワークに基づく機械学習モデルのトレーニング可能性について、異なる損失関数のランドスケープを探索することによって検討する。 我々は,大域的損失関数を持つ機械学習アルゴリズムのトレーニングプロセスにおいて,バレンプラトーが有効であることを厳密に証明する。
  論文  参考訳（メタデータ） (2021-08-18T18:00:03Z)
• Tensor Methods in Computer Vision and Deep Learning [120.3881619902096]
  テンソル(tensor)は、複数の次元の視覚データを自然に表現できるデータ構造である。 コンピュータビジョンにおけるディープラーニングパラダイムシフトの出現により、テンソルはさらに基本的なものになっている。 本稿では,表現学習と深層学習の文脈において,テンソルとテンソル法を深く,実践的に検討する。
  論文  参考訳（メタデータ） (2021-07-07T18:42:45Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• An Advance on Variable Elimination with Applications to Tensor-Based Computation [11.358487655918676]
  本稿では,確率的推論を含む多くのアルゴリズムの基盤となる可変除去の古典的アルゴリズムについて述べる。 結果は機能的依存関係の活用に関連しており、非常に大きなツリー幅を持つモデルで推論と学習を効率的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-21T14:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。