論文の概要: Latent Discretization for Continuous-time Sequence Compression

• arxiv url: http://arxiv.org/abs/2212.13659v1
• Date: Wed, 28 Dec 2022 01:15:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 14:43:06.513917
• Title: Latent Discretization for Continuous-time Sequence Compression
• Title（参考訳）: 連続時間列圧縮のための潜時離散化
• Authors: Ricky T. Q. Chen, Matthew Le, Matthew Muckley, Maximilian Nickel, Karen Ullrich
• Abstract要約: 本研究では、データシーケンスを、基礎となる連続時間プロセスからの観測として扱う。 本手法は,識別の仕方を学習することで,ビットレートの低減を自動で実現できることを示す。
• 参考スコア（独自算出の注目度）: 21.062288207034968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural compression offers a domain-agnostic approach to creating codecs for lossy or lossless compression via deep generative models. For sequence compression, however, most deep sequence models have costs that scale with the sequence length rather than the sequence complexity. In this work, we instead treat data sequences as observations from an underlying continuous-time process and learn how to efficiently discretize while retaining information about the full sequence. As a consequence of decoupling sequential information from its temporal discretization, our approach allows for greater compression rates and smaller computational complexity. Moreover, the continuous-time approach naturally allows us to decode at different time intervals. We empirically verify our approach on multiple domains involving compression of video and motion capture sequences, showing that our approaches can automatically achieve reductions in bit rates by learning how to discretize.
• Abstract（参考訳）: ニューラル圧縮は、ディープジェネレーティブモデルを介してロスレスまたはロスレス圧縮のためのコーデックを作成するドメインに依存しないアプローチを提供する。 しかし、シーケンス圧縮では、ほとんどのディープシーケンスモデルには、シーケンスの複雑さよりもシーケンス長でスケールするコストがある。 本研究では,基礎となる連続時間プロセスからの観測としてデータ列を扱い,全シーケンスに関する情報を保持しながら効率的に離散化する方法を学習する。 逐次情報を時間的離散化から分離することで,圧縮速度が向上し,計算複雑性が小さくなる。 さらに、連続時間アプローチは自然に異なる時間間隔でデコードすることができます。 我々は,映像とモーションキャプチャの圧縮を含む複数の領域における提案手法を実証的に検証し,離散化法を学習することで,ビットレートの削減を自動的に実現できることを示す。

関連論文リスト

• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)
• Compressing Lengthy Context With UltraGist [22.054232261437186]
  長大な文脈の高品質な圧縮を特徴とするUltraGistという手法を提案する。 UltraGistは、幅広いコンテキスト長と圧縮比をサポートするために効果的に学習できるため、圧縮の柔軟性に寄与する。 これにより、トレーニングプロセスのサンプル効率が向上し、トレーニングデータの使用が最大になる。
  論文  参考訳（メタデータ） (2024-05-26T17:23:56Z)
• Uncertainty-Aware Deep Video Compression with Ensembles [24.245365441718654]
  深層アンサンブルによる予測不確かさを効果的に把握できる不確実性対応ビデオ圧縮モデルを提案する。 我々のモデルは1080pのシーケンスに比べて20%以上効率良くビットを節約できる。
  論文  参考訳（メタデータ） (2024-03-28T05:44:48Z)
• Context Compression for Auto-regressive Transformers with Sentinel Tokens [37.07722536907739]
  本稿では,特定のトークンの中間活性化をコンパクトに段階的に圧縮できるプラグイン・アンド・プレイ方式を提案する。 ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、我々のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2023-10-12T09:18:19Z)
• Reinforcement Learning with Simple Sequence Priors [9.869634509510016]
  圧縮可能な動作列でタスクを解くことを学習するRLアルゴリズムを提案する。 得られたRLアルゴリズムは学習を高速化し、最先端のモデルフリーアプローチよりも高いリターンが得られることを示す。
  論文  参考訳（メタデータ） (2023-05-26T17:18:14Z)
• Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
  自己教師型音声モデルのための一括圧縮フレームワークを提案する。 このフレームワークは様々なタスクで評価され、固定圧縮率の変種と比較して限界劣化を示す。 また、適応圧縮率学習についても検討し、グリッド探索を必要とせず、タスク固有の好ましいフレーム期間を選択する能力を示す。
  論文  参考訳（メタデータ） (2022-11-04T09:19:13Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。