論文の概要: Multi-Modality Deep Network for Extreme Learned Image Compression

• arxiv url: http://arxiv.org/abs/2304.13583v1
• Date: Wed, 26 Apr 2023 14:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 14:01:18.557708
• Title: Multi-Modality Deep Network for Extreme Learned Image Compression
• Title（参考訳）: 極限学習画像圧縮のためのマルチモダリティ深層ネットワーク
• Authors: Xuhao Jiang, Weimin Tan, Tian Tan, Bo Yan, Liquan Shen
• Abstract要約: 本稿では,テキストのセマンティック情報を先行情報として利用して画像圧縮性能を誘導する,テキスト誘導画像圧縮のためのマルチモーダル機械学習手法を提案する。 さらに,画像とテキストの特徴を融合させるために,画像テキストアテンションモジュールと画像検索サプリメントモジュールを採用し,セマンティック・コンシステント・ロスを改良し,セマンティック・完全再構築を実現する。
• 参考スコア（独自算出の注目度）: 31.532613540054697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-based single-modality compression learning approaches have demonstrated exceptionally powerful encoding and decoding capabilities in the past few years , but suffer from blur and severe semantics loss at extremely low bitrates. To address this issue, we propose a multimodal machine learning method for text-guided image compression, in which the semantic information of text is used as prior information to guide image compression for better compression performance. We fully study the role of text description in different components of the codec, and demonstrate its effectiveness. In addition, we adopt the image-text attention module and image-request complement module to better fuse image and text features, and propose an improved multimodal semantic-consistent loss to produce semantically complete reconstructions. Extensive experiments, including a user study, prove that our method can obtain visually pleasing results at extremely low bitrates, and achieves a comparable or even better performance than state-of-the-art methods, even though these methods are at 2x to 4x bitrates of ours.
• Abstract（参考訳）: イメージベースのシングルモダリティ圧縮学習のアプローチは、ここ数年で非常に強力なエンコーディングとデコード能力を示してきたが、非常に低いビットレートで曖昧で深刻なセマンティクスの損失に苦しんでいる。 この問題に対処するために,テキスト誘導画像圧縮のためのマルチモーダル機械学習手法を提案する。 我々は,コーデックの異なるコンポーネントにおけるテキスト記述の役割を十分に研究し,その効果を実証する。 さらに,画像とテキストの特徴を融合させるために,画像テキストアテンションモジュールと画像検索サプリメントモジュールを採用し,セマンティック・コンシステント・ロスを改良し,セマンティック・完全再構築を実現する。 ユーザ・スタディを含む広範な実験により、非常に低いビットレートで視覚的に満足できる結果が得られることが証明され、これらの方法が我々の2倍から4倍のビットレートであるにもかかわらず、最先端の方法と同等あるいはそれ以上の性能が得られることが証明された。

関連論文リスト

• All-in-One Image Compression and Restoration [55.25638059492943]
  我々はオールインワン画像の圧縮と復元のための統一的なフレームワークを提案する。 様々な劣化に対する画像復元機能を画像圧縮のプロセスに組み込む。
  論文  参考訳（メタデータ） (2025-02-05T22:21:05Z)
• CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
  CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。 本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。 エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。 推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
  論文  参考訳（メタデータ） (2024-12-23T10:41:18Z)
• Neural Image Compression with Text-guided Encoding for both Pixel-level and Perceptual Fidelity [18.469136842357095]
  我々は,高知覚率と画素ワイド忠実度を両立させる新しいテキスト誘導画像圧縮アルゴリズムを開発した。 これにより、テキスト誘導生成モデルに基づく復号化を避けることができる。 提案手法は,人や機械が生成するキャプションを用いて,高いピクセルレベルと知覚品質を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:15:01Z)
• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• Perceptual Image Compression with Cooperative Cross-Modal Side Information [53.356714177243745]
  本稿では,テキスト誘導側情報を用いた新しい深層画像圧縮手法を提案する。 具体的には,CLIPテキストエンコーダとSemantic-Spatial Awareブロックを用いてテキストと画像の特徴を融合する。
  論文  参考訳（メタデータ） (2023-11-23T08:31:11Z)
• You Can Mask More For Extremely Low-Bitrate Image Compression [80.7692466922499]
  近年,学習画像圧縮(lic)法は大きな進歩を遂げている。 licメソッドは、画像圧縮に不可欠な画像構造とテクスチャコンポーネントを明示的に探索することができない。 原画像の構造とテクスチャに基づいて可視パッチをサンプリングするDA-Maskを提案する。 極めて低ビットレート圧縮のために, lic と lic のエンドツーエンドを統一する最初のフレームワークである, 単純で効果的なマスク付き圧縮モデル (MCM) を提案する。
  論文  参考訳（メタデータ） (2023-06-27T15:36:22Z)
• Multi-Modality Deep Network for JPEG Artifacts Reduction [33.02405073842042]
  テキスト誘導JPEGアーティファクト削減のためのマルチモーダル融合学習法を提案する。 提案手法は,最先端の手法と比較して,より優れたデブロッキング結果が得られる。
  論文  参考訳（メタデータ） (2023-05-04T11:54:02Z)
• Extreme Generative Image Compression by Learning Text Embedding from Diffusion Models [13.894251782142584]
  本稿では,画像を短いテキスト埋め込みとして保存する可能性を示す生成画像圧縮手法を提案する。 本手法は、知覚的品質と多様性の両方の観点から、他の最先端のディープラーニング手法よりも優れている。
  論文  参考訳（メタデータ） (2022-11-14T22:54:19Z)
• Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
  まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。 本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。 エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
  論文  参考訳（メタデータ） (2020-02-10T13:13:43Z)
• A Unified End-to-End Framework for Efficient Deep Image Compression [35.156677716140635]
  本稿では,3つの新しい技術に基づくEDIC(Efficient Deep Image Compression)という統合フレームワークを提案する。 具体的には、学習に基づく画像圧縮のためのオートエンコーダスタイルのネットワークを設計する。 EDIC法は,映像圧縮性能を向上させるために,Deep Video Compression (DVC) フレームワークに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2020-02-09T14:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。