論文の概要: Lossy Compressive Text Autoencoders

• arxiv url: http://arxiv.org/abs/2610.10738v1
• Date: Wed, 07 Oct 2026 18:08:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.62361
• Title: Lossy Compressive Text Autoencoders
• Title（参考訳）: Lossy Compressive Text Autoencoders
• Abstract要約: 本稿では,時間軸に沿った隠れ表現の残差ダウンスケーリングとアップスケーリングを行うオートエンコーダアーキテクチャを提案する。 我々は、下流の質問応答と意味的テキスト類似度ベンチマークでモデルを評価する。
• 参考スコア（独自算出の注目度）: 13.89972325343737
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Our work explores learning a compressed latent representation of text, at the intersection of data compression and representation learning. We propose an autoencoder architecture that performs residual downscaling and upscaling of hidden representations along the time axis, with a residual low-dimension discrete bottleneck. We analyze our approach for different quantization methods, training objectives, and datasets. For different levels of compression, we evaluate the similarity between the original and reconstructed text both at the surface-level (BLEU) and at the semantic-level (LLM-based judge). Additionally, we evaluate our models on downstream question-answering and semantic text similarity benchmarks. Our approach results in compressed representations which are on par with lossless text compression algorithms at 2.24 bits per byte on web text data, while having good reconstruction and downstream task performance.
• Abstract（参考訳）: 我々の研究は、データ圧縮と表現学習の交差点で、テキストの圧縮された潜在表現を学習することを検討する。 本稿では,時間軸に沿った隠蔽表現の残差ダウンスケーリングとアップスケーリングを行うオートエンコーダアーキテクチャを提案する。 我々は、異なる定量化方法、トレーニング目標、データセットに対するアプローチを分析します。 圧縮の異なるレベルにおいて、原文と再構成されたテキストの類似性は、表面レベル(BLEU)と意味レベル(LLM)の両方で評価する。 さらに、下流の質問応答と意味的テキスト類似度ベンチマークを用いて、本モデルの評価を行った。 提案手法は,Webテキストデータに対して,2.24ビット毎のロスレステキスト圧縮アルゴリズムと同等の圧縮表現を出力する。

関連論文リスト

• Transformers from Compressed Representations [74.48571451824569]
  TEMPEST (TransformErs froM comPressed rEpreSenTations) は、圧縮されたファイルのバイトストリーム構造を利用して効果的なトークン化と符号化戦略を設計する手法である。 本提案では,意味分類に必要なトークン数を大幅に削減し,計算複雑性とメモリ使用量の両方を削減する。
  論文  参考訳（メタデータ） (2025-10-26T13:48:03Z)
• TokBench: Evaluating Your Visual Tokenizer before Visual Generation [75.38270351179018]
  さまざまな画像トークンやVAEに対して,テキストと顔の復元品質をさまざまな尺度で分析する。 以上の結果から, 現代の視覚トークン化器は, 特に小規模では, 細粒度保存に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-23T17:52:16Z)
• Deep Lossless Image Compression via Masked Sampling and Coarse-to-Fine Auto-Regression [8.6984128323386]
  本稿では,マスクサンプリングと粗大な自動回帰によるロスレス画像圧縮を提案する。 これは、様々な方向からコンテキストを融合させる、損失のある再構築と漸進的な残留圧縮を組み合わせたものである。 提案手法は、競合する符号化速度と柔軟性を有する広範囲なデータセットにおいて、同等の圧縮性能を実現する。
  論文  参考訳（メタデータ） (2025-03-14T09:29:55Z)
• Learned Image Compression with Text Quality Enhancement [14.105456271662328]
  本稿では,オリジナル画像と再構成画像間のテキストの相違を定量化するために設計された,新たなテキストロジット損失を最小限に抑えることを提案する。 提案した損失関数を適切な重み付けと組み合わせることで,再構成テキストの品質が著しく向上することを発見した。
  論文  参考訳（メタデータ） (2024-02-13T18:20:04Z)
• Perceptual Image Compression with Cooperative Cross-Modal Side Information [53.356714177243745]
  本稿では,テキスト誘導側情報を用いた新しい深層画像圧縮手法を提案する。 具体的には,CLIPテキストエンコーダとSemantic-Spatial Awareブロックを用いてテキストと画像の特徴を融合する。
  論文  参考訳（メタデータ） (2023-11-23T08:31:11Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)
• Deep Implicit Volume Compression [33.81053554523246]
  本稿では,3次元ボクセル格子に格納された切り離された符号付き距離場を圧縮する新しい手法について述べる。 我々の手法は、エンドツーエンドで訓練されたブロックベースのニューラルネットワークアーキテクチャに依存し、最先端の速度歪みトレードオフを実現する。
  論文  参考訳（メタデータ） (2020-05-18T16:46:13Z)
• Learning Directly from Grammar Compressed Text [17.91878224879985]
  本稿では, 圧縮を伴わない文法圧縮アルゴリズムを用いて圧縮したテキストデータに対して, ニューラルシーケンスモデルを適用する手法を提案する。 圧縮規則に現れるユニークなシンボルを符号化するために,記号をベクトル表現にインクリメンタルにエンコードする合成モジュールを導入する。
  論文  参考訳（メタデータ） (2020-02-28T06:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。