論文の概要: A Simple and Efficient Tensor Calculus for Machine Learning
- arxiv url: http://arxiv.org/abs/2010.03313v1
- Date: Wed, 7 Oct 2020 10:18:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 00:13:24.311886
- Title: A Simple and Efficient Tensor Calculus for Machine Learning
- Title（参考訳）: 機械学習のための単純で効率的なテンソル計算
- Authors: S\"oren Laue, Matthias Mitterreiter, Joachim Giesen
- Abstract要約: 主要な関心事は、これらの表現の表現に依存する表現とその微分を評価する効率である。
ジャコビアンやヘッセンのようなテンソル表現の高次微分を計算するアルゴリズムが導入された。
ここでは、効率的なテンソル計算にはリッチ記法は必要ないことを示し、より単純なアインシュタイン記法のための等しく効率的な方法を開発する。
- 参考スコア（独自算出の注目度）: 18.23338916563815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computing derivatives of tensor expressions, also known as tensor calculus,
is a fundamental task in machine learning. A key concern is the efficiency of
evaluating the expressions and their derivatives that hinges on the
representation of these expressions. Recently, an algorithm for computing
higher order derivatives of tensor expressions like Jacobians or Hessians has
been introduced that is a few orders of magnitude faster than previous
state-of-the-art approaches. Unfortunately, the approach is based on Ricci
notation and hence cannot be incorporated into automatic differentiation
frameworks from deep learning like TensorFlow, PyTorch, autograd, or JAX that
use the simpler Einstein notation. This leaves two options, to either change
the underlying tensor representation in these frameworks or to develop a new,
provably correct algorithm based on Einstein notation. Obviously, the first
option is impractical. Hence, we pursue the second option. Here, we show that
using Ricci notation is not necessary for an efficient tensor calculus and
develop an equally efficient method for the simpler Einstein notation. It turns
out that turning to Einstein notation enables further improvements that lead to
even better efficiency.
The methods that are described in this paper have been implemented in the
online tool www.MatrixCalculus.org for computing derivatives of matrix and
tensor expressions.
An extended abstract of this paper appeared as "A Simple and Efficient Tensor
Calculus", AAAI 2020.
- Abstract（参考訳）: テンソル式(テンソルりょう、tensor calculus)は、機械学習において基本的なタスクである。
主要な関心事は、これらの表現の表現に依存する表現とその微分を評価する効率である。
近年,ジャコビアンやヘッセンのようなテンソル表現の高次微分を計算するアルゴリズムが提案されている。
残念ながらこのアプローチはリッチ表記に基づいているため、より単純なeinstein記法を使用するtensorflow、pytorch、autograd、jaxといったディープラーニングからの自動微分フレームワークには組み入れられない。
これは、これらのフレームワークの基盤となるテンソル表現を変更するか、アインシュタイン表記に基づく新しい証明可能な正しいアルゴリズムを開発するための2つの選択肢を残している。
もちろん、最初の選択肢は実用的ではない。
したがって、第2の選択肢を追求する。
本稿では,効率的なテンソル計算にはリッチ記法を用いる必要はなく,より単純なアインシュタイン記法に対して等しく効率的な方法を開発した。
アインシュタイン表記に切り替えることで、さらなる改善が実現し、効率が向上することが判明した。
本稿では,行列とテンソル表現の微分を計算するオンラインツールwww.MatrixCalculus.orgで実装されている。
この論文の要約は、AAAI 2020"A Simple and Efficient Tensor Calculus"として発表された。
関連論文リスト
- Conv-Basis: A New Paradigm for Efficient Attention Inference and Gradient Computation in Transformers [16.046186753149]
最近のLarge Language Models(LLM)におけるトランスフォーマーの成功の鍵は自己認識メカニズムである
我々は、注目行列の畳み込み様構造を利用して、畳み込み行列を用いた注目の効率的な近似法を開発する。
トランスフォーマーモデルにおけるアテンション計算を加速するための新しいパラダイムが、より長いコンテキストへのアプリケーションを支援することを願っています。
論文 参考訳（メタデータ） (2024-05-08T17:11:38Z) - An introduction to graphical tensor notation for mechanistic
interpretability [0.0]
テンソル間でどの操作が行われているのかを混乱させるのは容易です。
この文書の前半は表記法を導入し、いくつかの分解に適用する。
後半は、言語モデルを機械的に理解するためのいくつかの基本的なアプローチに適用します。
論文 参考訳（メタデータ） (2024-02-02T02:56:01Z) - Adapting Newton's Method to Neural Networks through a Summary of
Higher-Order Derivatives [0.0]
関数 $boldsymboltheta$ に適用した勾配に基づく最適化法を考える。
このフレームワークは、勾配降下によるニューラルネットワークのトレーニングなど、多くの一般的なユースケースを含んでいる。
論文 参考訳（メタデータ） (2023-12-06T20:24:05Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - Monarch: Expressive Structured Matrices for Efficient and Accurate
Training [64.6871423399431]
大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。
計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。
ハードウェア効率のよい行列(Monarch)のクラスを提案する。
論文 参考訳（メタデータ） (2022-04-01T17:37:29Z) - Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。
前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。
一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
論文 参考訳（メタデータ） (2022-01-29T10:00:35Z) - Fast Differentiable Matrix Square Root [65.67315418971688]
微分可能な行列平方根を計算するために、より効率的な2つの変種を提案する。
前方伝播には, Matrix Taylor Polynomial (MTP) を用いる方法がある。
もう1つの方法は Matrix Pad'e Approximants (MPA) を使うことである。
論文 参考訳（メタデータ） (2022-01-21T12:18:06Z) - SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。
線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。
これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。
ソフトマックスフリー変圧器(SOFT)を初めて提案する。
論文 参考訳（メタデータ） (2021-10-22T17:57:29Z) - Automatic differentiation for Riemannian optimization on low-rank matrix
and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。
低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文 参考訳（メタデータ） (2021-03-27T19:56:00Z) - Tensor Completion via Tensor Networks with a Tucker Wrapper [28.83358353043287]
本論文では,タッカーラッパーを用いたテンソルネットワークを用いて低ランクテンソル完備化(LRTC)を解くことを提案する。
次に、未知の要素を更新するために、2段階の最小二乗法を用いる。
数値シミュレーションにより,提案アルゴリズムは最先端手法に匹敵することを示す。
論文 参考訳（メタデータ） (2020-10-29T17:54:01Z) - Tensor Relational Algebra for Machine Learning System Design [7.764107702934616]
本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。
TRA は、リレーショナル代数に基づく集合基底代数である。
我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2020-09-01T15:51:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。