論文の概要: Seq2Seq2Seq: Lossless Data Compression via Discrete Latent Transformers and Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2602.12146v1
• Date: Thu, 12 Feb 2026 16:30:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.934738
• Title: Seq2Seq2Seq: Lossless Data Compression via Discrete Latent Transformers and Reinforcement Learning
• Title（参考訳）: Seq2Seq2Seq:離散遅延変換と強化学習によるロスレスデータ圧縮
• Authors: Mahdi Khodabandeh, Ghazal Shabani, Arash Yousefi Jordehi, Seyed Abolghasem Mirroshandel,
• Abstract要約: 本稿では,T5言語モデルアーキテクチャに適用した強化学習に基づく新しい圧縮手法を提案する。 このアプローチは、従来のベクトル表現ではなく、トークンのシーケンスへのデータの圧縮を可能にする。 言語モデル内の潜伏情報を活用することで、明示的なコンテンツ理解を必要とせず、効果的にデータを圧縮する。
• 参考スコア（独自算出の注目度）: 3.2641459166493405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient lossless compression is essential for minimizing storage costs and transmission overhead while preserving data integrity. Traditional compression techniques, such as dictionary-based and statistical methods, often struggle to optimally exploit the structure and redundancy in complex data formats. Recent advancements in deep learning have opened new avenues for compression; however, many existing approaches depend on dense vector representations that obscure the underlying token structure. To address these limitations, we propose a novel lossless compression method that leverages Reinforcement Learning applied to a T5 language model architecture. This approach enables the compression of data into sequences of tokens rather than traditional vector representations. Unlike auto-encoders, which typically encode information into continuous latent spaces, our method preserves the token-based structure, aligning more closely with the original data format. This preservation allows for higher compression ratios while maintaining semantic integrity. By training the model using an off-policy Reinforcement Learning algorithm, we optimize sequence length to minimize redundancy and enhance compression efficiency. Our method introduces an efficient and adaptive data compression system built upon advanced Reinforcement Learning techniques, functioning independently of external grammatical or world knowledge. This approach shows significant improvements in compression ratios compared to conventional methods. By leveraging the latent information within language models, our system effectively compresses data without requiring explicit content understanding, paving the way for more robust and practical compression solutions across various applications.
• Abstract（参考訳）: 効率のよいロスレス圧縮は、データの整合性を保ちながら、ストレージコストと送信オーバーヘッドを最小限に抑えるために不可欠である。 辞書ベースや統計手法のような伝統的な圧縮技術は、複雑なデータ形式の構造と冗長性を最適に活用するのに苦労することが多い。 近年のディープラーニングの進歩は、圧縮のための新しい道を開いたが、既存の多くのアプローチは、基盤となるトークン構造を曖昧にする密度の高いベクトル表現に依存している。 これらの制約に対処するために,T5言語モデルアーキテクチャに適用した強化学習を利用した新しい無損失圧縮手法を提案する。 このアプローチは、従来のベクトル表現ではなく、トークンのシーケンスへのデータの圧縮を可能にする。 通常、情報を連続的な潜伏空間にエンコードする自動エンコーダとは異なり、我々の手法はトークンベースの構造を保持し、元のデータ形式とより密に一致させる。 この保存により、セマンティックな整合性を維持しつつ高い圧縮比が得られる。 外部の強化学習アルゴリズムを用いてモデルをトレーニングすることにより、シーケンス長を最適化し、冗長性を最小化し、圧縮効率を向上する。 本手法では,外部文法や世界知識とは独立して機能する高度強化学習技術に基づく,効率的かつ適応的なデータ圧縮システムを提案する。 従来手法に比べて圧縮比が大幅に向上した。 言語モデル内の潜伏情報を活用することで、明示的なコンテンツ理解を必要とせず、様々なアプリケーションにまたがるより堅牢で実用的な圧縮ソリューションを実現することができる。

関連論文リスト

• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Proxy Compression for Language Modeling [58.904023114033954]
  プロキシ圧縮は、圧縮された入力の効率性を維持する代替のトレーニングスキームである。 コード言語モデリングの実験では、プロキシ圧縮がトレーニング効率を大幅に向上することを示した。 モデルスケールが大きくなるにつれて、プロキシトレーニングされたモデルは最終的に一致するか、あるいは競合するトークン化アルゴリズムのアプローチになる。
  論文  参考訳（メタデータ） (2026-02-04T07:36:46Z)
• Context Compression via Explicit Information Transmission [25.078241611630585]
  大規模言語モデル(LLM)による長文推論は、二次的な注意とキー値キャッシュの増加によってコストがかかる。 ソフト圧縮を新しいパラダイムに定式化する軽量フレームワークComprExITを提案する。
  論文  参考訳（メタデータ） (2026-02-03T17:44:12Z)
• Test-Time Steering for Lossless Text Compression via Weighted Product of Experts [27.679089540901007]
  We propose a novel framework that performing Test-Time Steering through a Weighted Product of Experts (wPoE)。 提案手法は, 予測において, 普遍圧縮モデルと事前学習されたニューラルネットワークモデルとを適応的に組み合わせ, 圧縮速度が最良個々人のモデルと同程度であることを保証する。 自動回帰言語モデルとシームレスに統合され、多様なデータ分散をまたいだテキスト圧縮を強化するための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-11-04T16:37:56Z)
• Transformers from Compressed Representations [74.48571451824569]
  TEMPEST (TransformErs froM comPressed rEpreSenTations) は、圧縮されたファイルのバイトストリーム構造を利用して効果的なトークン化と符号化戦略を設計する手法である。 本提案では,意味分類に必要なトークン数を大幅に削減し,計算複雑性とメモリ使用量の両方を削減する。
  論文  参考訳（メタデータ） (2025-10-26T13:48:03Z)
• UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression [86.33995240043936]
  UniGistは、大規模言語モデルのためのシーケンスレベルのロングコンテキスト圧縮フレームワークである。 生のトークンを特別な圧縮トークン(gist)に微粒な方法で置き換えることで、コンテキスト情報を効率的に保存する。 提案手法は,圧縮トークンの実際の除去を可能にすることで,フレキシブルな推論もサポートしている。
  論文  参考訳（メタデータ） (2025-09-19T08:47:37Z)
• SCOPE: A Generative Approach for LLM Prompt Compression [7.813705327778312]
  本稿では,新しい生成的即時圧縮法を提案する。 既存のトークン除去方法とは異なり,本手法はチャンキング・アンド・サマー化機構に重点を置いている。 提案手法は, 圧縮品質が向上し, 最新技術よりも安定性が向上する。
  論文  参考訳（メタデータ） (2025-08-16T01:41:53Z)
• Compressive Meta-Learning [49.300635370079874]
  圧縮学習(Compressive learning)は、ランダムで非線形な特徴を用いることで効率的な処理を可能にするフレームワークである。 圧縮学習手法の符号化段階と復号段階の両方をメタラーニングするフレームワークを提案する。 ニューラルネットワークベースの圧縮PCA、圧縮リッジ回帰、圧縮k平均、オートエンコーダなど、複数のアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2025-08-14T22:08:06Z)
• AlphaZip: Neural Network-Enhanced Lossless Text Compression [0.0]
  本稿では,Large Language Model (LLM) を用いたロスレステキスト圧縮手法を提案する。 第一に、トランスフォーマーブロックのような高密度ニューラルネットワークアーキテクチャを使用した予測、第二に、予測ランクをAdaptive Huffman、LZ77、Gzipといった標準的な圧縮アルゴリズムで圧縮する。
  論文  参考訳（メタデータ） (2024-09-23T14:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。