論文の概要: Dynamic Low-Rank Instance Adaptation for Universal Neural Image Compression

• arxiv url: http://arxiv.org/abs/2308.07733v1
• Date: Tue, 15 Aug 2023 12:17:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 13:01:59.404029
• Title: Dynamic Low-Rank Instance Adaptation for Universal Neural Image Compression
• Title（参考訳）: ユニバーサルニューラルイメージ圧縮のための動的低ランクインスタンス適応
• Authors: Yue Lv, Jinxi Xiang, Jun Zhang, Wenming Yang, Xiao Han, Wei Yang
• Abstract要約: ドメイン外のデータセットで観測される速度歪みの減少に対処する低ランク適応手法を提案する。 提案手法は,多様な画像データセットにまたがる普遍性を示す。
• 参考スコア（独自算出の注目度）: 33.92792778925365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The latest advancements in neural image compression show great potential in surpassing the rate-distortion performance of conventional standard codecs. Nevertheless, there exists an indelible domain gap between the datasets utilized for training (i.e., natural images) and those utilized for inference (e.g., artistic images). Our proposal involves a low-rank adaptation approach aimed at addressing the rate-distortion drop observed in out-of-domain datasets. Specifically, we perform low-rank matrix decomposition to update certain adaptation parameters of the client's decoder. These updated parameters, along with image latents, are encoded into a bitstream and transmitted to the decoder in practical scenarios. Due to the low-rank constraint imposed on the adaptation parameters, the resulting bit rate overhead is small. Furthermore, the bit rate allocation of low-rank adaptation is \emph{non-trivial}, considering the diverse inputs require varying adaptation bitstreams. We thus introduce a dynamic gating network on top of the low-rank adaptation method, in order to decide which decoder layer should employ adaptation. The dynamic adaptation network is optimized end-to-end using rate-distortion loss. Our proposed method exhibits universality across diverse image datasets. Extensive results demonstrate that this paradigm significantly mitigates the domain gap, surpassing non-adaptive methods with an average BD-rate improvement of approximately $19\%$ across out-of-domain images. Furthermore, it outperforms the most advanced instance adaptive methods by roughly $5\%$ BD-rate. Ablation studies confirm our method's ability to universally enhance various image compression architectures.
• Abstract（参考訳）: ニューラル画像圧縮の最近の進歩は、従来の標準コーデックの速度歪み性能を超える大きな可能性を示している。 それでも、トレーニングに使用されるデータセット(自然画像)と推論に使用されるデータセット(芸術画像など)の間には、確実な領域ギャップが存在する。 提案手法は、ドメイン外のデータセットで観測される速度歪みの減少に対処するための低ランク適応手法である。 具体的には、クライアントのデコーダの適応パラメータを更新するために、低ランク行列分解を行う。 これらの更新されたパラメータとイメージラテントはビットストリームにエンコードされ、実際のシナリオでデコーダに送信される。 適応パラメータに課される低ランク制約のため、結果として生じるビットレートオーバーヘッドは小さい。 さらに、低ランク適応のビットレート割当は \emph{non-trivial} であり、多様な入力は様々な適応ビットストリームを必要とする。 そこで我々は,低ランク適応法の上に動的ゲーティングネットワークを導入し,どのデコーダ層を適応させるべきかを判定する。 動的適応ネットワークは、レート歪み損失を用いてエンドツーエンドに最適化される。 提案手法は多様な画像データセットにまたがる普遍性を示す。 その結果、このパラダイムはドメイン間ギャップを著しく軽減し、非適応的手法を平均的なBDレートの改善により、ドメイン外画像の約19.%で上回った。 さらに、最も先進的なインスタンス適応メソッドを約$5\%$ bdレートで上回っている。 アブレーション研究は,様々な画像圧縮アーキテクチャを普遍的に強化する手法の能力を確認した。

関連論文リスト

• CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
  CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。 本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。 エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。 推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
  論文  参考訳（メタデータ） (2024-12-23T10:41:18Z)
• A Rate-Distortion-Classification Approach for Lossy Image Compression [0.0]
  損失画像圧縮では、画像を特定のビットレートに圧縮しながら、最小限の信号歪みを実現する。 画像圧縮と視覚解析のギャップを埋めるために、損失画像圧縮のためのRDCモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-06T14:11:36Z)
• Laplacian-guided Entropy Model in Neural Codec with Blur-dissipated Synthesis [10.428185253933004]
  ガウスデコーダをデコーダ側の非等方拡散モデルに置き換える。 我々のフレームワークは、確率分布潜在表現を正確にモデル化する新しいエントロピーモデルを備えている。 実験により,我々のフレームワークは,最先端な生成エントロピーベースのコーデックに比べて知覚品質がよいことを示した。
  論文  参考訳（メタデータ） (2024-03-24T18:33:16Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Progressive Learning with Visual Prompt Tuning for Variable-Rate Image Compression [60.689646881479064]
  本稿では,変圧器を用いた可変レート画像圧縮のためのプログレッシブラーニングパラダイムを提案する。 視覚的プロンプトチューニングにインスパイアされた私たちは,エンコーダ側とデコーダ側でそれぞれ入力画像と隠蔽特徴のプロンプトを抽出するためにLPMを使用する。 提案モデルでは, 速度歪み特性の観点から現行の可変画像法よりも優れ, スクラッチから訓練した最先端の固定画像圧縮法にアプローチする。
  論文  参考訳（メタデータ） (2023-11-23T08:29:32Z)
• High-Fidelity Variable-Rate Image Compression via Invertible Activation Transformation [24.379052026260034]
  Invertible Activation Transformation (IAT) モジュールを提案する。 IATとQLevelは、画像圧縮モデルに、画像の忠実さを良く保ちながら、細かな可変レート制御能力を与える。 提案手法は,特に複数再符号化後に,最先端の可変レート画像圧縮法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-09-12T07:14:07Z)
• Reducing The Amortization Gap of Entropy Bottleneck In End-to-End Image Compression [2.1485350418225244]
  エンド・ツー・エンドのディープ・トレーニング可能なモデルは、ビデオや画像の従来の手作り圧縮技術の性能をほぼ上回っている。 本稿では,このアモート化ギャップを小さなコストで低減する,シンプルで効率的なインスタンスベースのパラメータ化手法を提案する。
  論文  参考訳（メタデータ） (2022-09-02T11:43:45Z)
• Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG Encoder-Decoder [73.48927855855219]
  本稿では,エンコーダとデコーダの両端に内在するニューラル表現を強化することで,符号化性能の向上を図るシステムを提案する。 実験により,提案手法はJPEGに対する速度歪み性能を,様々な品質指標で改善することを示した。
  論文  参考訳（メタデータ） (2022-01-27T20:20:03Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Substitutional Neural Image Compression [48.20906717052056]
  置換型ニューラルイメージ圧縮(snic)は、あらゆるニューラルイメージ圧縮モデルを強化する一般的なアプローチである。 フレキシブルな歪みメトリックに向けて圧縮性能を高め、単一のモデルインスタンスを使用したビットレート制御を可能にする。
  論文  参考訳（メタデータ） (2021-05-16T20:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。