論文の概要: Position: Curvature Matrices Should Be Democratized via Linear Operators

• arxiv url: http://arxiv.org/abs/2501.19183v1
• Date: Fri, 31 Jan 2025 14:46:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:10.313676
• Title: Position: Curvature Matrices Should Be Democratized via Linear Operators
• Title（参考訳）: 曲線行列は線形演算子で民主化されるべき
• Authors: Felix Dangel, Runa Eschenhagen, Weronika Ormaniec, Andres Fernandez, Lukas Tatzel, Agustinus Kristiadi,
• Abstract要約: 線形演算子は、曲率行列を扱う汎用的でスケーラブルでユーザフレンドリな抽象化を提供する。 $textitcurvlinops$は、統一された線形演算子インターフェイスを通じて曲率行列を提供するライブラリである。 私たちは$textitcurvlinops$で、このインターフェースがいかに複雑さを隠蔽し、アプリケーションを単純化し、他のライブラリと相互運用可能で、大規模なNNにスケールするかを示します。
• 参考スコア（独自算出の注目度）: 6.946287154076936
• License:
• Abstract: Structured large matrices are prevalent in machine learning. A particularly important class is curvature matrices like the Hessian, which are central to understanding the loss landscape of neural nets (NNs), and enable second-order optimization, uncertainty quantification, model pruning, data attribution, and more. However, curvature computations can be challenging due to the complexity of automatic differentiation, and the variety and structural assumptions of curvature proxies, like sparsity and Kronecker factorization. In this position paper, we argue that linear operators -- an interface for performing matrix-vector products -- provide a general, scalable, and user-friendly abstraction to handle curvature matrices. To support this position, we developed $\textit{curvlinops}$, a library that provides curvature matrices through a unified linear operator interface. We demonstrate with $\textit{curvlinops}$ how this interface can hide complexity, simplify applications, be extensible and interoperable with other libraries, and scale to large NNs.
• Abstract（参考訳）: 構造化された大きな行列は機械学習で広く使われている。 特に重要なクラスは、ニューラルネットワーク(NN)の損失状況を理解する中心となるHessianのような曲率行列であり、二階最適化、不確実性定量化、モデルプルーニング、データ属性などを可能にする。 しかし、自動微分の複雑さや、疎度やクロネッカー分解のような曲率プロキシの多様性と構造的仮定のため、曲率計算は困難である。 本稿では,行列ベクトル製品を実行するためのインターフェースである線形演算子が,曲率行列を扱うための汎用的でスケーラブルでユーザフレンドリな抽象化を提供することを論じる。 この位置をサポートするために、統一された線形演算子インタフェースを通じて曲率行列を提供するライブラリである$\textit{curvlinops}$を開発した。 私たちは$\textit{curvlinops}$で、このインターフェースがいかに複雑さを隠蔽し、アプリケーションを単純化し、拡張可能で、他のライブラリと相互運用可能で、大規模なNNにスケールするかを示します。

関連論文リスト

• Learning Linear Attention in Polynomial Time [115.68795790532289]
  線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。 線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。 我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
  論文  参考訳（メタデータ） (2024-10-14T02:41:01Z)
• Projected Tensor-Tensor Products for Efficient Computation of Optimal Multiway Data Representations [0.0]
  本稿では,計算オーバーヘッドを低減するために可逆性制限を緩和する新しいテンソルテンソル製品を提案する。 予測された製品フレームワーク内での圧縮表現の行列緩和性と最適性を証明する理論を提供する。
  論文  参考訳（メタデータ） (2024-09-28T16:29:54Z)
• Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
  グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。 本稿では、リーマン幾何学の観点から行列対数とパワーの包括的かつ統一的な理解を提供する。
  論文  参考訳（メタデータ） (2024-07-15T07:11:44Z)
• Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
  行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。 我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。 可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:52:23Z)
• CoLA: Exploiting Compositional Structure for Automatic and Efficient Numerical Linear Algebra [62.37017125812101]
  機械学習における大規模線形代数問題に対して, CoLA という, 単純だが汎用的なフレームワークを提案する。 線形演算子抽象と合成ディスパッチルールを組み合わせることで、CoLAはメモリと実行時の効率的な数値アルゴリズムを自動的に構築する。 偏微分方程式,ガウス過程,同変モデル構築,教師なし学習など,幅広い応用で有効性を示す。
  論文  参考訳（メタデータ） (2023-09-06T14:59:38Z)
• Sufficient dimension reduction for feature matrices [3.04585143845864]
  そこで本研究では,主支持行列マシン (PSMM) を用いた行列次元削減手法を提案する。 数値解析により、PSMMは既存の手法よりも優れ、実データアプリケーションでは高い解釈性を有することが示された。
  論文  参考訳（メタデータ） (2023-03-07T23:16:46Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Tensor Relational Algebra for Machine Learning System Design [7.764107702934616]
  本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。 TRA は、リレーショナル代数に基づく集合基底代数である。 我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-09-01T15:51:24Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
  我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。 本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-02-08T21:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。