論文の概要: Lossless compression with state space models using bits back coding
- arxiv url: http://arxiv.org/abs/2103.10150v1
- Date: Thu, 18 Mar 2021 10:34:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 00:34:56.222965
- Title: Lossless compression with state space models using bits back coding
- Title(参考訳): ビットバック符号化を用いた状態空間モデルによるロスレス圧縮
- Authors: James Townsend, Iain Murray
- Abstract要約: 我々は'bits back with ans'法を潜在マルコフ構造を持つ時系列モデルに一般化する。
本手法が小規模モデルに有効であることを実験的に証明し,ビデオ圧縮などの大規模設定への適用性について考察した。
- 参考スコア(独自算出の注目度): 17.625326990547332
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We generalize the 'bits back with ANS' method to time-series models with a
latent Markov structure. This family of models includes hidden Markov models
(HMMs), linear Gaussian state space models (LGSSMs) and many more. We provide
experimental evidence that our method is effective for small scale models, and
discuss its applicability to larger scale settings such as video compression.
- Abstract(参考訳): 我々は'bits back with ans'法を潜在マルコフ構造を持つ時系列モデルに一般化する。
このモデル群には隠れマルコフモデル(hmms)、線形ガウス状態空間モデル(lgssms)などが含まれる。
本手法が小規模モデルに有効であることを実験的に証明し,ビデオ圧縮などの大規模設定への適用性について考察した。
関連論文リスト
- Rethinking Compression: Reduced Order Modelling of Latent Features in
Large Language Models [9.91972450276408]
本稿では,Large Language Models (LLMs) のパラメトリックおよび実用的な圧縮に対して,低次モデリングに基づく革新的なアプローチを提案する。
本手法は, 行列分解を利用したモデル圧縮の顕著な進歩を示し, 最先端の構造化プルーニング法よりも優れた有効性を示した。
論文 参考訳(メタデータ) (2023-12-12T07:56:57Z) - CAMERO: Consistency Regularized Ensemble of Perturbed Language Models
with Weight Sharing [83.63107444454938]
本稿では,CAMEROと呼ばれる摂動モデルに基づく一貫性規則化アンサンブル学習手法を提案する。
具体的には、すべてのモデルで底層重みを共有し、異なるモデルの隠れ表現に異なる摂動を適用し、モデルの多様性を効果的に促進することができる。
大規模言語モデルを用いた実験により,CAMEROはアンサンブルモデルの一般化性能を大幅に向上することが示された。
論文 参考訳(メタデータ) (2022-04-13T19:54:51Z) - Riemannian Score-Based Generative Modeling [56.20669989459281]
経験的性能を示すスコアベース生成モデル(SGM)を紹介する。
現在のSGMは、そのデータが平坦な幾何学を持つユークリッド多様体上で支えられているという前提を定めている。
これにより、ロボット工学、地球科学、タンパク質モデリングの応用にこれらのモデルを使用することができない。
論文 参考訳(メタデータ) (2022-02-06T11:57:39Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳(メタデータ) (2021-10-16T00:20:04Z) - Lossless Compression with Latent Variable Models [4.289574109162585]
我々は「非対称数値系を持つビットバック」(bb-ans)と呼ぶ潜在変数モデルを用いる。
この方法は、エンコードおよびデコードステップをインターリーブし、データのバッチ圧縮時に最適なレートを達成する。
我々は,深層生成モデルを用いた圧縮の高速プロトタイピングのために開発したモジュール型ソフトウェアフレームワークである'craystack'について述べる。
論文 参考訳(メタデータ) (2021-04-21T14:03:05Z) - Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。
また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
論文 参考訳(メタデータ) (2021-02-08T20:08:50Z) - Scaling Hidden Markov Language Models [118.55908381553056]
この研究は、HMMを言語モデリングデータセットに拡張するという課題を再考する。
本研究では,HMMを大規模状態空間に拡張する手法を提案する。
論文 参考訳(メタデータ) (2020-11-09T18:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。