論文の概要: TextEconomizer: Enhancing Lossy Text Compression with Denoising Transformers and Entropy Coding

• arxiv url: http://arxiv.org/abs/2606.08184v1
• Date: Sat, 06 Jun 2026 14:12:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.896675
• Title: TextEconomizer: Enhancing Lossy Text Compression with Denoising Transformers and Entropy Coding
• Title（参考訳）: TextEconomizer: 変圧器とエントロピー符号化によるロッシーテキスト圧縮の強化
• Authors: Mahbub E Sobhani, Anika Tasnim Rodela, Chowdhury Mofizur Rahman, Dewan Md. Farid, Swakkhar Shatabda,
• Abstract要約: ロッシーテキスト圧縮は、中核的な意味を保ちながらデータサイズを減らし、要約、自動解析、デジタルアーカイブに適している。 言語モデリングにおけるトランスフォーマーモデルの支配にもかかわらず、文脈ベクトルとエントロピー符号化をシーケンス・ツー・シーケンス生成に組み込むことは未定である。 トランスフォーマーニューラルネットワークと組み合わせたエンコーダ・デコーダフレームワークであるTextEconomizerを導入し、データセット次元に関する事前の知識を必要とせずに、可変サイズの入力を50%から80%削減する。
• 参考スコア（独自算出の注目度）: 0.8644909837301148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lossy text compression reduces data size while preserving core meaning, making it well-suited for summarization, automated analysis, and digital archives. Despite the dominance of transformer-based models in language modeling, integrating context vectors and entropy coding into Sequence-to-Sequence (Seq2Seq) generation remains underexplored. A key challenge lies in identifying the most informative context vectors from encoder output and incorporating entropy coding to enhance storage efficiency while maintaining high-quality outputs, even under noisy text. We introduce TextEconomizer, an encoder-decoder framework paired with a transformer neural network that reduces variable-sized inputs by 50% to 80% without prior knowledge of dataset dimensions. Our model achieves competitive compression ratios via entropy coding while delivering near-perfect text quality, assessed by BLEU, ROUGE, METEOR, and semantic similarity scores. TextEconomizer operates with approximately 153x fewer parameters than comparable models, achieving a 5.39x compression ratio without sacrificing semantic quality. We also evaluate an LSTM-based autoencoder achieving a state-of-the-art 67x compression ratio with 196x fewer parameters, and LLaMAFormer, a modified transformer with 263x fewer parameters than ICAE while maintaining competitive text quality. TextEconomizer significantly surpasses existing transformer-based models in balancing memory efficiency and high-fidelity outputs, marking a breakthrough in lossy compression with optimal space utilization.
• Abstract（参考訳）: ロッシーテキスト圧縮は、中核的な意味を保ちながらデータサイズを減らし、要約、自動解析、デジタルアーカイブに適している。 言語モデリングにおけるトランスフォーマーモデルの支配にもかかわらず、文脈ベクトルとエントロピー符号化をSeq2Seq(Sequence-to-Sequence)生成に組み込むことは未定である。 重要な課題は、エンコーダ出力から最も情報性の高いコンテキストベクトルを特定し、エントロピー符号化を取り入れて、高品質な出力を維持しながら、ノイズの多いテキストでも、ストレージ効率を向上させることである。 トランスフォーマーニューラルネットワークと組み合わせたエンコーダ・デコーダフレームワークであるTextEconomizerを導入し、データセット次元に関する事前の知識を必要とせずに、可変サイズの入力を50%から80%削減する。 提案モデルは,BLEU,ROUGE,METEOR,意味的類似度スコアによって評価され,ほぼ完璧なテキスト品質を提供するとともに,エントロピー符号化による競合圧縮比を達成する。 TextEconomizerは約153倍のパラメータで動作し、セマンティック品質を犠牲にすることなく5.39倍の圧縮比を実現している。 また、LSTMベースのオートエンコーダを196倍のパラメータを持つ最先端の67倍圧縮比で実現し、LLaMAFormerはICAEよりも263倍少ないパラメータを持つ変換器である。 TextEconomizerは、メモリ効率と高忠実度出力のバランスをとる上で、既存のトランスフォーマーベースのモデルを大幅に上回る。

関連論文リスト

• Transformers from Compressed Representations [74.48571451824569]
  TEMPEST (TransformErs froM comPressed rEpreSenTations) は、圧縮されたファイルのバイトストリーム構造を利用して効果的なトークン化と符号化戦略を設計する手法である。 本提案では,意味分類に必要なトークン数を大幅に削減し,計算複雑性とメモリ使用量の両方を削減する。
  論文  参考訳（メタデータ） (2025-10-26T13:48:03Z)
• REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder [52.698595889988766]
  生成モデルのためのビデオ埋め込み学習について,新しい視点を提示する。 入力ビデオの正確な再生を必要とせず、効果的な埋め込みは視覚的に妥当な再構築に焦点を当てるべきである。 本稿では,従来のエンコーダ・デコーダ・ビデオ埋め込みをエンコーダ・ジェネレータ・フレームワークに置き換えることを提案する。
  論文  参考訳（メタデータ） (2025-03-11T17:51:07Z)
• An Enhanced Text Compression Approach Using Transformer-based Language Models [1.2937020918620652]
  テキスト圧縮のための変換器ベースのRejuvenateFormeを提案する。 我々の精巧な前処理技術はLe-Ziv-Welchアルゴリズムを取り入れている。 RejuvenateFormeは、EN-DE、EN-FR、BookCorpus corporaのBLEUスコアが27.31、25.78、50.45に達した。
  論文  参考訳（メタデータ） (2024-12-15T03:01:17Z)
• Epsilon-VAE: Denoising as Visual Decoding [61.29255979767292]
  復号化は1段階の再構成から反復的改良へと移行する。 具体的には、デコーダを拡散処理に置き換え、ノイズを反復的に改善して元の画像を復元する。 拡散による反復的再構成により, 自己エンコーダであるEpsilon-VAEは高い再構成品質を実現する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• ConvNeXt-ChARM: ConvNeXt-based Transform for Efficient Neural Image Compression [18.05997169440533]
  ConvNeXt-ChARMは,効率的なConvNeXtベースのトランスフォーメーションコーディングフレームワークである。 ConvNeXt-ChARMは、VVC参照エンコーダ(VTM-18.0)と最先端の学習画像圧縮手法であるSwinT-ChARMに対して、平均5.24%と1.22%と、一貫したBDレート(PSNR)の低下をもたらすことを示した。
  論文  参考訳（メタデータ） (2023-07-12T11:45:54Z)
• Compressing Pre-trained Transformers via Low-Bit NxM Sparsity for Natural Language Understanding [20.75335227098455]
  大規模な事前学習型トランスフォーマーネットワークは、多くの自然言語理解タスクにおいて劇的に改善されている。 NM半構造スパーシリティと低精度整数計算の両方をサポートする新しいハードウェアは、モデル提供効率を高めるための有望な解決策である。 本研究では,同時スペーシフィケーションと量子化を行うフレキシブル圧縮フレームワークNxMiFormerを提案する。
  論文  参考訳（メタデータ） (2022-06-30T04:33:50Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)
• Hamming OCR: A Locality Sensitive Hashing Neural Network for Scene Text Recognition [14.250874536962366]
  自己注意に基づくシーンテキスト認識アプローチは、優れたパフォーマンスを実現している。 分類層と埋め込み層の両方におけるパラメータの数は、語彙のサイズに依存しない。 ハンミングOCRは競争結果を達成する。
  論文  参考訳（メタデータ） (2020-09-23T01:20:19Z)
• Modeling Lost Information in Lossy Image Compression [72.69327382643549]
  ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T04:04:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。