論文の概要: WaveLLM: Wavelet-Domain LLM Entropy Modeling for Lossless Image Compression

• arxiv url: http://arxiv.org/abs/2610.22232v1
• Date: Thu, 15 Oct 2026 17:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.218331
• Title: WaveLLM: Wavelet-Domain LLM Entropy Modeling for Lossless Image Compression
• Title（参考訳）: WaveLLM:無損失画像圧縮のためのウェーブレット独立LLMエントロピーモデリング
• Abstract要約: ロスレス画像圧縮は、基本的に正確なエントロピーモデリングに依存している。 有効エントロピーモデリングは,モデルキャパシティだけでなく,入力表現の予測可能性にも依存する。 画像をマルチレベルウェーブレットサブバンドに分解することで、WaveLLMは異種予測問題をより構造化され統計的に均質なサブプロブレムの集合に変換する。
• 参考スコア（独自算出の注目度）: 18.92763137866093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lossless image compression fundamentally relies on accurate entropy modeling, driving a recent shift toward large language model (LLM)-based methods. However, existing approaches mainly emphasize the modeling capacity of LLMs while directly serializing images into pixel or residual sequences, leaving heterogeneous signal patterns entangled within a single prediction stream. In this paper, we argue that effective entropy modeling depends not only on model capacity, but also on the predictability of the input representation. Motivated by this insight, we propose WaveLLM, a wavelet-domain LLM-based entropy model for lossless image compression. By decomposing an image into multi-level wavelet subbands, WaveLLM converts a heterogeneous prediction problem into a set of more structured and statistically homogeneous subproblems that are more amenable to autoregressive probability estimation. To bridge numerical coding symbols with the LLM's native text token space, we introduce a dedicated numerical interface featuring value embeddings and a coefficient prediction head. Furthermore, a task-adaptive prompting strategy is designed to enable a single shared model to adapt to diverse subbands within a unified framework. Built on Llama-3.2-3B with LoRA adaptation, WaveLLM achieves 2.51, 2.24, and 2.27 bpsp on Kodak, CLIC.pro, and DIV2K, respectively, outperforming the PixelCNN-based codec using the same wavelet transform by 0.43, 0.36, and 0.46 bpsp, and surpassing recent LLM-based lossless compressors on all three benchmarks.
• Abstract（参考訳）: ロスレス画像圧縮は、基本的には正確なエントロピーモデリングに依存しており、最近の大規模言語モデル(LLM)ベースの手法にシフトしている。 しかし、既存のアプローチは主にLCMのモデリング能力を強調し、画像を直接ピクセルまたは残差シーケンスにシリアライズし、不均一な信号パターンを単一の予測ストリームに格納する。 本稿では,有効エントロピーモデリングはモデルキャパシティだけでなく,入力表現の予測可能性にも依存する,と論じる。 そこで我々はウェーブレット領域 LLM に基づくエントロピーモデル WaveLLM を提案する。 画像をマルチレベルウェーブレットサブバンドに分解することで、WaveLLMは不均一な予測問題をより構造化され、統計的に均質なサブプロブレムの集合に変換する。 LLMのネイティブテキストトークン空間で数値符号化シンボルをブリッジするために、値埋め込みと係数予測ヘッドを備えた専用数値インタフェースを導入する。 さらに、タスク適応型プロンプト戦略は、単一の共有モデルが統一されたフレームワーク内で多様なサブバンドに適応できるように設計されている。 Llama-3.2-3BをLoRAで実装し、Kodak、CLIC.pro、DIV2Kで2.51bps、CLIC.pro、DIV2Kで2.27bps、同じウェーブレット変換でPixelCNNベースのコーデックを0.43bps、0.46bpsで上回り、最近のLLMベースのロスレス圧縮機を3つのベンチマークで上回っている。

関連論文リスト

• PixelMoE: Scaling Pixel-Space Diffusion with LLM-Style Mixture-of-Experts [64.70296429705293]
  PixelMoEは、標準のLCMスタイルのMoEでモデルキャパシティをわずかにスケールするピクセル空間生成フレームワークである。 PixelMoEは、モデルスケールにまたがる密集した性能を一貫して上回っている。 クラス条件の ImageNet-1K では、PixelMoE は 256x256 で 1.47 と 512x512 で FID スコアを達成している。
  論文  参考訳（メタデータ） (2026-10-13T17:59:21Z)
• FLM: Frequency-Aware Language Models for Generative Image Compression [42.67709966291742]
  周波数領域確率モデルを用いて圧縮効率を向上させる周波数認識言語モデルFLMを提案する。 実験により、FLMは、速度歪み性能において、従来および生成損失圧縮法を超越していることが示された。
  論文  参考訳（メタデータ） (2026-08-26T14:04:15Z)
• LUMI: Tokenizer-Agnostic LLM-Based Lossless Image Compression [87.04737384323367]
  本稿では,RGB画像圧縮のためのトークン化非依存フレームワークLUMIについて述べる。 LUMIは、ピクセル・アズ・テキストのトークン化を、LLMの連続的な埋め込み空間に生の強度とチャネル情報をマッピングするピクセル埋め込みモジュールに置き換える。 画素埋め込み、位置符号化、ソフトパラメータ、予測ヘッドのみが訓練され、LSMバックボーンは固定されている。
  論文  参考訳（メタデータ） (2026-07-09T08:16:14Z)
• Representation Forcing for Bottleneck-Free Unified Multimodal Models [76.99907273945493]
  統一マルチモーダルモデル(UMM)は、単一モデルにおける知覚と生成を扱うことを目的としている。 既存のUMMは、画像生成のために別々に訓練された凍結したVAEに依存しており、構造的なボトルネックを示唆している。 本稿では,表現予測をモデルのネイティブ機能にすることで,このギャップを埋める手法であるRepresentation Forcing(RF)を提案する。
  論文  参考訳（メタデータ） (2026-05-29T17:59:55Z)
• SWAN: Self-supervised Wavelet Neural Network for Hyperspectral Image Unmixing [0.2624902795082451]
  本稿では,3段階の自己教師型ウェーブレットニューラルネットワークSWANについて紹介する。 この考え方は、自己教師付き学習パラダイムを用いて得られた不変かつ共変な特徴から潜在対称性を利用する。 信号対雑音比の異なる2つのベンチマーク合成データセットと3つの実ベンチマークハイパースペクトルデータセットで実験を行った。
  論文  参考訳（メタデータ） (2025-10-26T10:05:48Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.57727062920458]
  本稿では,非自己回帰型マスク画像モデリング(MIM)をSDXLのような最先端拡散モデルに匹敵するレベルまで高めるMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いる。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• MLIC: Multi-Reference Entropy Model for Learned Image Compression [28.63380127598021]
  本稿では,マルチ参照エントロピーモデル(MEM)と高度なバージョンであるMEM$+$を提案する。 MEM と MEM$+$ に基づいて,画像圧縮モデル MLIC と MLIC$+$ を提案する。 我々のMLICとMLIC$+$モデルは最先端のパフォーマンスを実現し、PSNRで測定されたVTM-17.0と比較して、KodakデータセットのBDレートを8.05%、11.39%削減した。
  論文  参考訳（メタデータ） (2022-11-14T11:07:18Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。