論文の概要: Multi-Modality Deep Network for Extreme Learned Image Compression

• arxiv url: http://arxiv.org/abs/2304.13583v1
• Date: Wed, 26 Apr 2023 14:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 14:01:18.557708
• Title: Multi-Modality Deep Network for Extreme Learned Image Compression
• Title（参考訳）: 極限学習画像圧縮のためのマルチモダリティ深層ネットワーク
• Authors: Xuhao Jiang, Weimin Tan, Tian Tan, Bo Yan, Liquan Shen
• Abstract要約: 本稿では,テキストのセマンティック情報を先行情報として利用して画像圧縮性能を誘導する,テキスト誘導画像圧縮のためのマルチモーダル機械学習手法を提案する。 さらに,画像とテキストの特徴を融合させるために,画像テキストアテンションモジュールと画像検索サプリメントモジュールを採用し,セマンティック・コンシステント・ロスを改良し,セマンティック・完全再構築を実現する。
• 参考スコア（独自算出の注目度）: 31.532613540054697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-based single-modality compression learning approaches have demonstrated exceptionally powerful encoding and decoding capabilities in the past few years , but suffer from blur and severe semantics loss at extremely low bitrates. To address this issue, we propose a multimodal machine learning method for text-guided image compression, in which the semantic information of text is used as prior information to guide image compression for better compression performance. We fully study the role of text description in different components of the codec, and demonstrate its effectiveness. In addition, we adopt the image-text attention module and image-request complement module to better fuse image and text features, and propose an improved multimodal semantic-consistent loss to produce semantically complete reconstructions. Extensive experiments, including a user study, prove that our method can obtain visually pleasing results at extremely low bitrates, and achieves a comparable or even better performance than state-of-the-art methods, even though these methods are at 2x to 4x bitrates of ours.
• Abstract（参考訳）: イメージベースのシングルモダリティ圧縮学習のアプローチは、ここ数年で非常に強力なエンコーディングとデコード能力を示してきたが、非常に低いビットレートで曖昧で深刻なセマンティクスの損失に苦しんでいる。 この問題に対処するために,テキスト誘導画像圧縮のためのマルチモーダル機械学習手法を提案する。 我々は,コーデックの異なるコンポーネントにおけるテキスト記述の役割を十分に研究し,その効果を実証する。 さらに,画像とテキストの特徴を融合させるために,画像テキストアテンションモジュールと画像検索サプリメントモジュールを採用し,セマンティック・コンシステント・ロスを改良し,セマンティック・完全再構築を実現する。 ユーザ・スタディを含む広範な実験により、非常に低いビットレートで視覚的に満足できる結果が得られることが証明され、これらの方法が我々の2倍から4倍のビットレートであるにもかかわらず、最先端の方法と同等あるいはそれ以上の性能が得られることが証明された。

関連論文リスト

• Neural Image Compression with Text-guided Encoding for both Pixel-level and Perceptual Fidelity [18.469136842357095]
  我々は,高知覚率と画素ワイド忠実度を両立させる新しいテキスト誘導画像圧縮アルゴリズムを開発した。 これにより、テキスト誘導生成モデルに基づく復号化を避けることができる。 提案手法は,人や機械が生成するキャプションを用いて,高いピクセルレベルと知覚品質を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:15:01Z)
• MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large Multimodal Model [78.4051835615796]
  本稿では,マルチモーダル画像セマンティック圧縮法を提案する。 画像の意味情報を抽出するLMMエンコーダと、その意味に対応する領域を特定するマップエンコーダと、非常に圧縮されたビットストリームを生成する画像エンコーダと、前記情報に基づいて画像を再構成するデコーダとからなる。 知覚50%を節約しながら最適な一貫性と知覚結果を達成することができ、これは次世代のストレージと通信において強力な可能性を持つ。
  論文  参考訳（メタデータ） (2024-02-26T17:11:11Z)
• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• Perceptual Image Compression with Cooperative Cross-Modal Side Information [53.356714177243745]
  本稿では,テキスト誘導側情報を用いた新しい深層画像圧縮手法を提案する。 具体的には,CLIPテキストエンコーダとSemantic-Spatial Awareブロックを用いてテキストと画像の特徴を融合する。
  論文  参考訳（メタデータ） (2023-11-23T08:31:11Z)
• You Can Mask More For Extremely Low-Bitrate Image Compression [80.7692466922499]
  近年,学習画像圧縮(lic)法は大きな進歩を遂げている。 licメソッドは、画像圧縮に不可欠な画像構造とテクスチャコンポーネントを明示的に探索することができない。 原画像の構造とテクスチャに基づいて可視パッチをサンプリングするDA-Maskを提案する。 極めて低ビットレート圧縮のために, lic と lic のエンドツーエンドを統一する最初のフレームワークである, 単純で効果的なマスク付き圧縮モデル (MCM) を提案する。
  論文  参考訳（メタデータ） (2023-06-27T15:36:22Z)
• Multi-Modality Deep Network for JPEG Artifacts Reduction [33.02405073842042]
  テキスト誘導JPEGアーティファクト削減のためのマルチモーダル融合学習法を提案する。 提案手法は,最先端の手法と比較して,より優れたデブロッキング結果が得られる。
  論文  参考訳（メタデータ） (2023-05-04T11:54:02Z)
• Extreme Generative Image Compression by Learning Text Embedding from Diffusion Models [13.894251782142584]
  本稿では,画像を短いテキスト埋め込みとして保存する可能性を示す生成画像圧縮手法を提案する。 本手法は、知覚的品質と多様性の両方の観点から、他の最先端のディープラーニング手法よりも優れている。
  論文  参考訳（メタデータ） (2022-11-14T22:54:19Z)
• Modeling Lost Information in Lossy Image Compression [72.69327382643549]
  ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T04:04:56Z)
• Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
  まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。 本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。 エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
  論文  参考訳（メタデータ） (2020-02-10T13:13:43Z)
• A Unified End-to-End Framework for Efficient Deep Image Compression [35.156677716140635]
  本稿では,3つの新しい技術に基づくEDIC(Efficient Deep Image Compression)という統合フレームワークを提案する。 具体的には、学習に基づく画像圧縮のためのオートエンコーダスタイルのネットワークを設計する。 EDIC法は,映像圧縮性能を向上させるために,Deep Video Compression (DVC) フレームワークに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2020-02-09T14:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。