Fugu-MT 論文翻訳(概要): LMM-driven Semantic Image-Text Coding for Ultra Low-bitrate Learned Image Compression

論文の概要: LMM-driven Semantic Image-Text Coding for Ultra Low-bitrate Learned Image Compression

arxiv url: http://arxiv.org/abs/2411.13033v1
Date: Wed, 20 Nov 2024 04:43:37 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-21 16:09:57.240010
Title: LMM-driven Semantic Image-Text Coding for Ultra Low-bitrate Learned Image Compression
Title（参考訳）: 超低ビットレート学習画像圧縮のためのLMM駆動セマンティック画像テキスト符号化
Authors: Shimon Murai, Heming Sun, Jiro Katto,
Abstract要約: 本稿では,一つのモデルでキャプションを生成し,圧縮することが可能であることを実証する。また,任意のlicネットワークに適用可能な,セマンティック・パーセプティブ指向の微調整手法を提案する。
参考スコア（独自算出の注目度）: 11.371756033920995
License:
Abstract: Supported by powerful generative models, low-bitrate learned image compression (LIC) models utilizing perceptual metrics have become feasible. Some of the most advanced models achieve high compression rates and superior perceptual quality by using image captions as sub-information. This paper demonstrates that using a large multi-modal model (LMM), it is possible to generate captions and compress them within a single model. We also propose a novel semantic-perceptual-oriented fine-tuning method applicable to any LIC network, resulting in a 41.58\% improvement in LPIPS BD-rate compared to existing methods. Our implementation and pre-trained weights are available at https://github.com/tokkiwa/ImageTextCoding.
Abstract（参考訳）: 強力な生成モデルによって支援され、知覚メトリクスを利用した低ビットレート学習画像圧縮(lic)モデルが実現可能となった。最も進んだモデルのいくつかは、画像キャプションをサブ情報として使用することで、高い圧縮率と優れた知覚品質を達成する。本稿では,大規模マルチモーダルモデル (LMM) を用いることで,キャプションを生成し,一つのモデル内で圧縮することが可能であることを実証する。また,従来の手法に比べてLPIPS BDレートが41.58 %向上した。実装と事前トレーニングはhttps://github.com/tokkiwa/ImageTextCoding.comで公開しています。

関連論文リスト

AdaptVision: Dynamic Input Scaling in MLLMs for Versatile Scene Understanding [96.01726275876548]
本稿では,様々な解像度の入力画像を動的に処理するマルチモーダルな大規模言語モデルAdaptVisionを提案する。画像のサイズやアスペクト比に応じて視覚トークンの数を調整する動的画像分割モジュールを考案する。私たちのモデルは、解像度1008倍の1008ドルまでの画像を処理できます。
論文参考訳（メタデータ） (2024-08-30T03:16:49Z)
MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large Multimodal Model [78.4051835615796]
本稿では,マルチモーダル画像セマンティック圧縮法を提案する。画像の意味情報を抽出するLMMエンコーダと、その意味に対応する領域を特定するマップエンコーダと、非常に圧縮されたビットストリームを生成する画像エンコーダと、前記情報に基づいて画像を再構成するデコーダとからなる。知覚50%を節約しながら最適な一貫性と知覚結果を達成することができ、これは次世代のストレージと通信において強力な可能性を持つ。
論文参考訳（メタデータ） (2024-02-26T17:11:11Z)
Improving Multimodal Datasets with Image Captioning [65.74736570293622]
生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。 DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
論文参考訳（メタデータ） (2023-07-19T17:47:12Z)
Text + Sketch: Image Compression at Ultra Low Rates [22.771914148234103]
テキスト記述がサイド情報と連動して高忠実度再構築を実現する方法を示す。本手法は, エンド・ツー・エンドのトレーニングを行わず, 知覚的・意味的忠実度の観点から, 学習圧縮機の性能を著しく向上させることができる。
論文参考訳（メタデータ） (2023-07-04T22:26:20Z)
You Can Mask More For Extremely Low-Bitrate Image Compression [80.7692466922499]
近年,学習画像圧縮(lic)法は大きな進歩を遂げている。 licメソッドは、画像圧縮に不可欠な画像構造とテクスチャコンポーネントを明示的に探索することができない。原画像の構造とテクスチャに基づいて可視パッチをサンプリングするDA-Maskを提案する。極めて低ビットレート圧縮のために, lic と lic のエンドツーエンドを統一する最初のフレームワークである, 単純で効果的なマスク付き圧縮モデル (MCM) を提案する。
論文参考訳（メタデータ） (2023-06-27T15:36:22Z)
Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。ストレージの要求が大きいため、一般ユーザからは広く採用されていない。本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-06-21T06:59:07Z)
Extreme Generative Image Compression by Learning Text Embedding from Diffusion Models [13.894251782142584]
本稿では,画像を短いテキスト埋め込みとして保存する可能性を示す生成画像圧縮手法を提案する。本手法は、知覚的品質と多様性の両方の観点から、他の最先端のディープラーニング手法よりも優れている。
論文参考訳（メタデータ） (2022-11-14T22:54:19Z)
Variable-Rate Deep Image Compression through Spatially-Adaptive Feature Transform [58.60004238261117]
空間特徴変換(SFT arXiv:1804.02815)に基づく多目的深部画像圧縮ネットワークを提案する。本モデルは,任意の画素単位の品質マップによって制御される単一モデルを用いて,幅広い圧縮速度をカバーしている。提案するフレームワークにより,様々なタスクに対してタスク対応の画像圧縮を行うことができる。
論文参考訳（メタデータ） (2021-08-21T17:30:06Z)
Learned Image Compression with Gaussian-Laplacian-Logistic Mixture Model and Concatenated Residual Modules [22.818632387206257]
学習画像圧縮の2つの重要な要素は、潜在表現のエントロピーモデルと符号化/復号化ネットワークアーキテクチャである。本稿では,よりフレキシブルなガウス・ラプラシア・ロジスティック混合モデル(GLLMM)を提案する。符号化/復号化ネットワーク設計部では、複数の残差ブロックを追加のショートカット接続で直列接続する残差ブロック(CRB)を提案する。
論文参考訳（メタデータ） (2021-07-14T02:54:22Z)
Lossless Compression with Latent Variable Models [4.289574109162585]
我々は「非対称数値系を持つビットバック」(bb-ans)と呼ぶ潜在変数モデルを用いる。この方法は、エンコードおよびデコードステップをインターリーブし、データのバッチ圧縮時に最適なレートを達成する。我々は,深層生成モデルを用いた圧縮の高速プロトタイピングのために開発したモジュール型ソフトウェアフレームワークである'craystack'について述べる。
論文参考訳（メタデータ） (2021-04-21T14:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。