論文の概要: Low-Rank Constraints for Fast Inference in Structured Models
- arxiv url: http://arxiv.org/abs/2201.02715v1
- Date: Sat, 8 Jan 2022 00:47:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 16:11:25.269182
- Title: Low-Rank Constraints for Fast Inference in Structured Models
- Title（参考訳）: 構造モデルにおける高速推論のための低ランク制約
- Authors: Justin T. Chiu, Yuntian Deng, Alexander M. Rush
- Abstract要約: この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
- 参考スコア（独自算出の注目度）: 110.38427965904266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured distributions, i.e. distributions over combinatorial spaces, are
commonly used to learn latent probabilistic representations from observed data.
However, scaling these models is bottlenecked by the high computational and
memory complexity with respect to the size of the latent representations.
Common models such as Hidden Markov Models (HMMs) and Probabilistic
Context-Free Grammars (PCFGs) require time and space quadratic and cubic in the
number of hidden states respectively. This work demonstrates a simple approach
to reduce the computational and memory complexity of a large class of
structured models. We show that by viewing the central inference step as a
matrix-vector product and using a low-rank constraint, we can trade off model
expressivity and speed via the rank. Experiments with neural parameterized
structured models for language modeling, polyphonic music modeling,
unsupervised grammar induction, and video modeling show that our approach
matches the accuracy of standard models at large state spaces while providing
practical speedups.
- Abstract（参考訳）: 構造分布、すなわち組合せ空間上の分布は一般に観測データから潜在確率表現を学ぶために用いられる。
しかし、これらのモデルのスケーリングは、潜在表現のサイズに関して高い計算量とメモリの複雑さによってボトルネックとなる。
HMM(Hidden Markov Models)やPCFG(Probabilistic Context-free Grammars)のような一般的なモデルは、それぞれ隠れた状態の数で時間と空間を2次的にしなければならない。
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
中央の推論ステップを行列ベクトル積とみなし、低ランク制約を用いることで、モデル表現率と速度をランクを通してトレードオフできることを示す。
言語モデリング,ポリフォニック音楽モデリング,教師なし文法帰納法,ビデオモデリングのためのニューラルパラメータ化構造化モデルを用いた実験により,本手法が大規模状態空間における標準モデルの精度に適合し,実用的な高速化が得られた。
関連論文リスト
- Model Stealing for Any Low-Rank Language Model [25.16701867917684]
我々は、単純で数学的に計算可能な設定を研究することによって、言語モデルを盗むという理論的理解を構築する。
我々の主な成果は、低ランク分布を学習するための条件付きクエリモデルにおける効率的なアルゴリズムである。
これは、少なくとも理論的には、推論時に機械学習モデルがより複雑な問題を解くことができるという興味深い例である。
論文 参考訳（メタデータ） (2024-11-12T04:25:31Z) - Neural Network-Based Piecewise Survival Models [0.3999851878220878]
ニューラルネットワークに基づくサバイバルモデルのファミリが提示される。
これらのモデルは、一般的に使用される離散時間および部分指数モデルの拡張と見なすことができる。
論文 参考訳（メタデータ） (2024-03-27T15:08:00Z) - Compressing Sentence Representation with maximum Coding Rate Reduction [0.0]
ほとんどの自然言語推論問題では、文表現は意味検索タスクに必要である。
スペースとハードウェアの制限のため、より小さなモデルを使用する場合には、同等の結果を得る必要がある。
複雑性と文埋め込みサイズを低減した新しい言語モデルは,セマンティック検索ベンチマークにおいて同等の結果が得られることを実証した。
論文 参考訳（メタデータ） (2023-04-25T09:23:43Z) - Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文 参考訳（メタデータ） (2022-07-21T07:35:18Z) - Neural Basis Models for Interpretability [33.51591891812176]
一般化加法モデル(GAMs)は本質的に解釈可能なモデルのクラスである。
形状関数の基底分解を利用するGAMの全く新しいサブファミリーを提案する。
少数の基底関数はすべての機能で共有され、与えられたタスクに対して共同で学習される。
論文 参考訳（メタデータ） (2022-05-27T17:31:19Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Equivalence of Segmental and Neural Transducer Modeling: A Proof of
Concept [56.46135010588918]
RNN-Transducerモデルとセグメントモデル(直接HMM)の広く使われているクラスが等価であることを証明する。
空白確率はセグメント長確率に変換され,その逆も示された。
論文 参考訳（メタデータ） (2021-04-13T11:20:48Z) - Scaling Hidden Markov Language Models [118.55908381553056]
この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。
本研究では,HMMを大規模状態空間に拡張する手法を提案する。
論文 参考訳（メタデータ） (2020-11-09T18:51:55Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳（メタデータ） (2020-07-13T17:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。