Fugu-MT 論文翻訳(概要): GPU-Accelerated Forward-Backward algorithm with Application to Lattice-Free MMI

論文の概要: GPU-Accelerated Forward-Backward algorithm with Application to Lattice-Free MMI

arxiv url: http://arxiv.org/abs/2112.00709v1
Date: Fri, 22 Oct 2021 08:31:02 GMT
ステータス: 処理完了
システム内更新日: 2023-03-10 19:14:17.487037
Title: GPU-Accelerated Forward-Backward algorithm with Application to Lattice-Free MMI
Title（参考訳）: GPU-Accelerated Forward-Backwardアルゴリズムと格子フリーMMIへの応用
Authors: Lucas Ondel, L\'ea-Marie Lam-Yee-Mui, Martin Kocour, Caio Filippo Corro, Luk\'a\v{s} Burget
Abstract要約: このアルゴリズムは、Juliaや、セミリング代数をネイティブにサポートした任意のプログラミング言語で容易に実装できる。我々はこの新しい実装を用いて、LF-MMI目的関数でTDNNを訓練し、システムのトレーニング時間をPyChainと比較する。私たちの実装は、"leaky-HMM"のような近似を使わずとも約2倍高速です。
参考スコア（独自算出の注目度）: 4.317876538437113
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose to express the forward-backward algorithm in terms of operations between sparse matrices in a specific semiring. This new perspective naturally leads to a GPU-friendly algorithm which is easy to implement in Julia or any programming languages with native support of semiring algebra. We use this new implementation to train a TDNN with the LF-MMI objective function and we compare the training time of our system with PyChain - a recently introduced C++/CUDA implementation of the LF-MMI loss. Our implementation is about two times faster while not having to use any approximation such as the "leaky-HMM".
Abstract（参考訳）: 特定の半環におけるスパース行列間の演算の観点でフォワードバックワードアルゴリズムを表現することを提案する。この新たな視点は自然に、Juliaやセミリング代数をネイティブにサポートした任意のプログラミング言語で容易に実装できるGPUフレンドリなアルゴリズムへとつながる。我々はこの新しい実装を用いて、LF-MMI目的関数でTDNNをトレーニングし、最近導入されたLF-MMI損失のC++/CUDA実装であるPyChainと比較する。我々の実装は、"leaky-HMM"のような近似を使わずとも約2倍高速である。

関連論文リスト

Performance Optimization of Deep Learning Sparse Matrix Kernels on Intel Max Series GPU [0.0]
機械学習アプリケーションに関連する3つの行列操作に焦点をあてる。我々は,Intel oneAPI の Explicit SIMD (ESIMD) SYCL 拡張 API を利用したSPMM, SDDMM, FusedMM 操作の最適化実装を開発した。
論文参考訳（メタデータ） (2023-11-01T08:43:59Z)
Learning Hidden Markov Models Using Conditional Samples [72.20944611510198]
本稿では,隠れマルコフモデル(HMM)の学習における計算複雑性について述べる。本稿では,HMMの条件分布からサンプルを問合せする対話型アクセスモデルを提案する。具体的には、正確な条件付き確率に対するクエリアクセスが可能な設定において、HMMを学習するための効率的なアルゴリズムを得る。
論文参考訳（メタデータ） (2023-02-28T16:53:41Z)
RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations [56.59168541623729]
トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
論文参考訳（メタデータ） (2022-10-19T17:25:33Z)
Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
論文参考訳（メタデータ） (2022-07-09T09:14:12Z)
A Push-Relabel Based Additive Approximation for Optimal Transport [5.111364864495785]
最適な輸送を計算するための厳密なアルゴリズムは遅くなる。我々は、OT距離の$varepsilon$approximationを求めるための、新しい非常に単純なアプローチを導入する。我々のアルゴリズムは、OT距離を計算するために、O(n2/varepsilon2)$のほぼ最適実行時間を達成する。
論文参考訳（メタデータ） (2022-03-07T21:40:14Z)
On Mixing Times of Metropolized Algorithm With Optimization Step (MAO) : A New Framework [4.984601297028258]
我々は$mathbbRd$でサポートされている細い尾を持つ分布のクラスからのサンプリングを検討する。我々のアルゴリズムは、メトロポリス調整ランゲヴィンアルゴリズム(MALA)が収束しない分布や理論的保証が欠如している分布からサンプリングすることができる。
論文参考訳（メタデータ） (2021-12-01T15:32:01Z)
Efficient GPU implementation of randomized SVD and its applications [17.71779625877989]
行列分解は、次元データの圧縮やディープラーニングアルゴリズムなど、機械学習においてユビキタスである。行列分解の典型的な解は、計算コストと時間を大幅に増大させる複雑さを持つ。我々は,計算行列分解の計算負担を軽減するために,現代のグラフィカル処理ユニット(GPU)で並列に動作する効率的な処理操作を利用する。
論文参考訳（メタデータ） (2021-10-05T07:42:41Z)
Temporal Parallelization of Inference in Hidden Markov Models [0.0]
本稿では隠れマルコフモデル(hmms)における推論の並列化アルゴリズムを提案する。パラレル・バックワード型フィルタ・スムージングアルゴリズムとパラレル・ビタビ型max-a-posteriori(MAP)を提案する。高並列処理ユニット(GPU)における提案手法の性能と古典的手法とを実証的に比較する。
論文参考訳（メタデータ） (2021-02-10T21:26:09Z)
Hybrid Models for Learning to Branch [81.93868699246214]
我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
論文参考訳（メタデータ） (2020-06-26T21:03:45Z)
Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
論文参考訳（メタデータ） (2020-05-10T19:52:03Z)
MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
論文参考訳（メタデータ） (2020-04-16T16:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。