論文の概要: CoLA: Exploiting Compositional Structure for Automatic and Efficient Numerical Linear Algebra

• arxiv url: http://arxiv.org/abs/2309.03060v2
• Date: Wed, 29 Nov 2023 16:17:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 00:53:56.464889
• Title: CoLA: Exploiting Compositional Structure for Automatic and Efficient Numerical Linear Algebra
• Title（参考訳）: CoLA: 自動かつ効率的な数値線形代数のための構成構造爆発
• Authors: Andres Potapczynski, Marc Finzi, Geoff Pleiss, Andrew Gordon Wilson
• Abstract要約: 機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。 線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。 偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
• 参考スコア（独自算出の注目度）: 62.37017125812101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many areas of machine learning and science involve large linear algebra problems, such as eigendecompositions, solving linear systems, computing matrix exponentials, and trace estimation. The matrices involved often have Kronecker, convolutional, block diagonal, sum, or product structure. In this paper, we propose a simple but general framework for large-scale linear algebra problems in machine learning, named CoLA (Compositional Linear Algebra). By combining a linear operator abstraction with compositional dispatch rules, CoLA automatically constructs memory and runtime efficient numerical algorithms. Moreover, CoLA provides memory efficient automatic differentiation, low precision computation, and GPU acceleration in both JAX and PyTorch, while also accommodating new objects, operations, and rules in downstream packages via multiple dispatch. CoLA can accelerate many algebraic operations, while making it easy to prototype matrix structures and algorithms, providing an appealing drop-in tool for virtually any computational effort that requires linear algebra. We showcase its efficacy across a broad range of applications, including partial differential equations, Gaussian processes, equivariant model construction, and unsupervised learning.
• Abstract（参考訳）: 機械学習と科学の多くの分野は、固有分解、線形システムの解法、行列指数計算、トレース推定などの大きな線形代数問題を含む。 関係する行列はクロネッカー、畳み込み、ブロック対角形、和、積構造を持つことが多い。 本稿では,機械学習における大規模線形代数問題に対して,CoLA(Compositional Linear Algebra)という,単純だが汎用的なフレームワークを提案する。 線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。 さらに、CoLAは、JAXとPyTorchの両方でメモリ効率のよい自動微分、低精度の計算、GPUアクセラレーションを提供すると同時に、新しいオブジェクト、オペレーション、ルールを複数のディスパッチを介して下流パッケージに格納する。 CoLAは、多くの代数演算を加速し、行列構造やアルゴリズムのプロトタイプを容易にし、線形代数を必要とする任意の計算作業に対して魅力的なドロップインツールを提供する。 我々は、偏微分方程式、ガウス過程、同変モデル構築、教師なし学習を含む幅広い応用でその効果を示す。

関連論文リスト

• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Recent and Upcoming Developments in Randomized Numerical Linear Algebra for Machine Learning [49.0767291348921]
  RandNLA (Randomized Numerical Linear Algebra) は、ランダムネスを用いてユビキタス行列問題に対する改良アルゴリズムを開発する分野である。 この記事では、これらの開発状況を踏まえた自己完結したRandNLAの概要を紹介する。
  論文  参考訳（メタデータ） (2024-06-17T02:30:55Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Benchmarking the Linear Algebra Awareness of TensorFlow and PyTorch [1.1470070927586016]
  我々は、TFとPyTの線形代数最適化能力を調べるためのベンチマークを開発する。 本研究では、TFおよびPyTにおける線形代数計算に焦点を当てる。
  論文  参考訳（メタデータ） (2022-02-20T18:51:00Z)
• Block-encoding dense and full-rank kernels using hierarchical matrices: applications in quantum numerical linear algebra [6.338178373376447]
  本稿では,量子コンピュータ上の階層行列構造のブロック符号化方式を提案する。 我々の手法は、次元$N$から$O(kappa operatornamepolylog(fracNvarepsilon))$の量子線型系を解くランタイムを改善することができる。
  論文  参考訳（メタデータ） (2022-01-27T05:24:02Z)
• Efficient GPU implementation of randomized SVD and its applications [17.71779625877989]
  行列分解は、次元データの圧縮やディープラーニングアルゴリズムなど、機械学習においてユビキタスである。 行列分解の典型的な解は、計算コストと時間を大幅に増大させる複雑さを持つ。 我々は,計算行列分解の計算負担を軽減するために,現代のグラフィカル処理ユニット(GPU)で並列に動作する効率的な処理操作を利用する。
  論文  参考訳（メタデータ） (2021-10-05T07:42:41Z)
• Tensor Relational Algebra for Machine Learning System Design [7.764107702934616]
  本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。 TRA は、リレーショナル代数に基づく集合基底代数である。 我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-09-01T15:51:24Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• Sketching Transformed Matrices with Applications to Natural Language Processing [76.6222695417524]
  本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。 提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T03:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。