論文の概要: Text + Sketch: Image Compression at Ultra Low Rates

• arxiv url: http://arxiv.org/abs/2307.01944v1
• Date: Tue, 4 Jul 2023 22:26:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 15:41:42.257735
• Title: Text + Sketch: Image Compression at Ultra Low Rates
• Title（参考訳）: Text + Sketch:超低速度での画像圧縮
• Authors: Eric Lei, Yi\u{g}it Berkay Uslu, Hamed Hassani, Shirin Saeedi Bidokhti
• Abstract要約: テキスト記述がサイド情報と連動して高忠実度再構築を実現する方法を示す。 本手法は, エンド・ツー・エンドのトレーニングを行わず, 知覚的・意味的忠実度の観点から, 学習圧縮機の性能を著しく向上させることができる。
• 参考スコア（独自算出の注目度）: 22.771914148234103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in text-to-image generative models provide the ability to generate high-quality images from short text descriptions. These foundation models, when pre-trained on billion-scale datasets, are effective for various downstream tasks with little or no further training. A natural question to ask is how such models may be adapted for image compression. We investigate several techniques in which the pre-trained models can be directly used to implement compression schemes targeting novel low rate regimes. We show how text descriptions can be used in conjunction with side information to generate high-fidelity reconstructions that preserve both semantics and spatial structure of the original. We demonstrate that at very low bit-rates, our method can significantly improve upon learned compressors in terms of perceptual and semantic fidelity, despite no end-to-end training.
• Abstract（参考訳）: テキスト対画像生成モデルの最近の進歩は、短いテキスト記述から高品質な画像を生成する機能を提供する。 これらの基盤モデルは、数十億規模のデータセットで事前トレーニングされた場合、ほとんどあるいはまったくトレーニングせずに、さまざまな下流タスクに有効である。 自然な質問は、このようなモデルを画像圧縮にどのように適応するかである。 本研究では,事前学習モデルを用いて,新しい低レートレジームをターゲットとした圧縮スキームを実装する手法について検討する。 テキスト記述と副次的情報とを併用して,テキストのセマンティクスと空間構造を両立した高忠実度再構成を生成する方法を示す。 エンド・ツー・エンドのトレーニングは行わないものの,非常に低ビットレートで学習した圧縮機の知覚的・意味的忠実度を向上できることを示す。

関連論文リスト

• LMM-driven Semantic Image-Text Coding for Ultra Low-bitrate Learned Image Compression [11.371756033920995]
  本稿では,一つのモデルでキャプションを生成し,圧縮することが可能であることを実証する。 また,任意のlicネットワークに適用可能な,セマンティック・パーセプティブ指向の微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-11-20T04:43:37Z)
• A Training-Free Defense Framework for Robust Learned Image Compression [48.41990144764295]
  本研究では,学習した画像圧縮モデルの敵攻撃に対する堅牢性について検討する。 簡単な画像変換関数をベースとした無訓練防御手法を提案する。
  論文  参考訳（メタデータ） (2024-01-22T12:50:21Z)
• Perceptual Image Compression with Cooperative Cross-Modal Side Information [53.356714177243745]
  本稿では,テキスト誘導側情報を用いた新しい深層画像圧縮手法を提案する。 具体的には,CLIPテキストエンコーダとSemantic-Spatial Awareブロックを用いてテキストと画像の特徴を融合する。
  論文  参考訳（メタデータ） (2023-11-23T08:31:11Z)
• Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
  本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。 本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。 本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-07-17T14:38:11Z)
• Extreme Generative Image Compression by Learning Text Embedding from Diffusion Models [13.894251782142584]
  本稿では,画像を短いテキスト埋め込みとして保存する可能性を示す生成画像圧縮手法を提案する。 本手法は、知覚的品質と多様性の両方の観点から、他の最先端のディープラーニング手法よりも優れている。
  論文  参考訳（メタデータ） (2022-11-14T22:54:19Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• Lossless Compression with Latent Variable Models [4.289574109162585]
  我々は「非対称数値系を持つビットバック」(bb-ans)と呼ぶ潜在変数モデルを用いる。 この方法は、エンコードおよびデコードステップをインターリーブし、データのバッチ圧縮時に最適なレートを達成する。 我々は,深層生成モデルを用いた圧縮の高速プロトタイピングのために開発したモジュール型ソフトウェアフレームワークである'craystack'について述べる。
  論文  参考訳（メタデータ） (2021-04-21T14:03:05Z)
• Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
  まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。 本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。 エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
  論文  参考訳（メタデータ） (2020-02-10T13:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。