Fugu-MT 論文翻訳(概要): Tensor Train Multiplication

論文の概要: Tensor Train Multiplication

arxiv url: http://arxiv.org/abs/2410.19747v2
Date: Tue, 29 Oct 2024 11:35:57 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-30 13:36:30.752807
Title: Tensor Train Multiplication
Title（参考訳）: テンソルトレイン乗算
Authors: Alexios A Michailidis, Christian Fenton, Martin Kiffner,
Abstract要約: TTMアルゴリズムの計算複雑性とメモリ要件はそれぞれ$chi3$と$chi2$である。これは従来のアプローチに比べて大幅に改善されている。 TTMアルゴリズムは、大きな結合次元を持つ計算流体力学問題のGPU加速テンソルネットワークシミュレーションへの道を開く。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We present the Tensor Train Multiplication (TTM) algorithm for the elementwise multiplication of two tensor trains with bond dimension $\chi$. The computational complexity and memory requirements of the TTM algorithm scale as $\chi^3$ and $\chi^2$, respectively. This represents a significant improvement compared with the conventional approach, where the computational complexity scales as $\chi^4$ and memory requirements scale as $\chi^3$.We benchmark the TTM algorithm using flows obtained from artificial turbulence generation and numerically demonstrate its improved runtime and memory scaling compared with the conventional approach. The TTM algorithm paves the way towards GPU accelerated tensor network simulations of computational fluid dynamics problems with large bond dimensions due to its dramatic improvement in memory scaling.
Abstract（参考訳）: 結合次元が$\chi$の2つのテンソル列車の要素乗算に対するテンソルトレイン乗算(TTM)アルゴリズムを提案する。 TTMアルゴリズムの計算複雑性とメモリ要件はそれぞれ$\chi^3$と$\chi^2$である。これは、計算複雑性が$\chi^4$、メモリ要求が$\chi^3$とスケールする従来のアプローチと比較して、大幅に改善されたことを示している。我々は, 人工乱流発生から得られた流れを用いてTTMアルゴリズムをベンチマークし, 従来の手法と比較して, 実行時間とメモリスケーリングの改善を数値的に示す。 TTMアルゴリズムは、メモリスケーリングの劇的な改善により、大きな結合次元を持つ計算流体力学問題のGPU加速テンソルネットワークシミュレーションへの道を開く。

関連論文リスト

Transformer Neural Processes -- Kernel Regression [2.309018557701645]
我々はトランスフォーマーニューラルプロセス-カーネル回帰(TNP-KR)を導入する。これはカーネル回帰ブロック(BlockKR)と呼ばれる新しいトランスフォーマーブロックを組み込んだ新しいアーキテクチャである。メタ回帰、ベイズ最適化、画像補完といったタスクにまたがるベンチマークにおいて、完全な変種は最先端の手法のパフォーマンスと一致し、トレーニングは高速で、テストポイント数で2桁高いスケールをし、高速変種はその性能とほぼ一致し、テストポイントとコンテキストポイントの両方をコンシューマハードウェア上でスケーリングすることを示した。
論文参考訳（メタデータ） (2024-11-19T13:40:49Z)
Quantum-Inspired Fluid Simulation of 2D Turbulence with GPU Acceleration [0.894484621897981]
本研究では,速度を行列積状態とするNavier-Stokes方程式の解法について検討する。我々の適応はシミュレーションを最大12.1倍スピードアップさせる。このアルゴリズムは乱流状態の直接数値シミュレーションに対して潜在的に有利であることがわかった。
論文参考訳（メタデータ） (2024-06-25T10:31:20Z)
Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
論文参考訳（メタデータ） (2024-06-10T13:25:43Z)
Power of $\ell_1$-Norm Regularized Kaczmarz Algorithms for High-Order Tensor Recovery [8.812294191190896]
スパース構造および/またはローランク構造を特徴とする高次テンソルを復元するための新しいカッツマルツアルゴリズムを提案する。合成および実世界の両方のデータセットに関する様々な数値実験により、提案手法の有効性と有意義なポテンシャルが示された。
論文参考訳（メタデータ） (2024-05-14T02:06:53Z)
TCNCA: Temporal Convolution Network with Chunked Attention for Scalable Sequence Processing [52.64837396100988]
MEGAは最近のトランスフォーマーベースのアーキテクチャで、線形リカレント演算子を使用し、並列計算はFFTに基づいて、$O(LlogL)$で、$L$はシーケンス長である。線形再帰を特別な時間的畳み込みネットワークに置き換えることで、より浅いネットワークでより大きい受容場を許容し、計算複雑性を$O(L)$に減らし、それらのアプローチを構築する。我々は,EnWik8言語モデリングにおけるTCNCA,LRA(Long-range-arena)シーケンス分類,および合成推論ベンチマーク連想リコールの評価を行った。
論文参考訳（メタデータ） (2023-12-09T16:12:25Z)
RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
論文参考訳（メタデータ） (2023-05-22T13:57:41Z)
Sublinear scaling in non-Markovian open quantum systems simulations [0.0]
プロセステンソルを計算する数値的精度のアルゴリズムを導入する。我々のアプローチでは、無限メモリを持つ環境に対して$mathcalO(nlog n)$の特異値分解しか必要としない。
論文参考訳（メタデータ） (2023-04-11T15:40:33Z)
Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文参考訳（メタデータ） (2023-01-30T15:46:39Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
Latent Matrices for Tensor Network Decomposition and to Tensor Completion [8.301418317685906]
テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
論文参考訳（メタデータ） (2022-10-07T08:19:50Z)
Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文参考訳（メタデータ） (2022-07-05T03:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。