論文の概要: Few-Shot Domain Adaptation for Learned Image Compression

• arxiv url: http://arxiv.org/abs/2409.11111v1
• Date: Tue, 17 Sep 2024 12:05:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 16:55:21.980794
• Title: Few-Shot Domain Adaptation for Learned Image Compression
• Title（参考訳）: 学習画像圧縮のためのFew-Shot領域適応
• Authors: Tianyu Zhang, Haotian Zhang, Yuqi Li, Li Li, Dong Liu,
• Abstract要約: 学習された画像圧縮(lic)は、最先端の速度歪み性能を達成した。 licモデルは通常、トレーニング外領域のイメージに適用した場合、大幅なパフォーマンス劣化に悩まされる。 プレトレーニングモデルにプラグイン・アンド・プレイアダプタを組み込むことにより, lic の領域適応手法を提案する。
• 参考スコア（独自算出の注目度）: 24.37696296367332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learned image compression (LIC) has achieved state-of-the-art rate-distortion performance, deemed promising for next-generation image compression techniques. However, pre-trained LIC models usually suffer from significant performance degradation when applied to out-of-training-domain images, implying their poor generalization capabilities. To tackle this problem, we propose a few-shot domain adaptation method for LIC by integrating plug-and-play adapters into pre-trained models. Drawing inspiration from the analogy between latent channels and frequency components, we examine domain gaps in LIC and observe that out-of-training-domain images disrupt pre-trained channel-wise decomposition. Consequently, we introduce a method for channel-wise re-allocation using convolution-based adapters and low-rank adapters, which are lightweight and compatible to mainstream LIC schemes. Extensive experiments across multiple domains and multiple representative LIC schemes demonstrate that our method significantly enhances pre-trained models, achieving comparable performance to H.266/VVC intra coding with merely 25 target-domain samples. Additionally, our method matches the performance of full-model finetune while transmitting fewer than $2\%$ of the parameters.
• Abstract（参考訳）: 学習画像圧縮(lic)は、次世代画像圧縮技術に期待できる技術として、最先端の速度歪み性能を達成した。 しかし、トレーニング済みのlicモデルは、通常、トレーニング外領域の画像に適用した場合、大幅なパフォーマンス劣化を被り、一般化能力の低下を示唆する。 そこで本研究では,プレトレーニングモデルにプラグイン・アンド・プレイアダプタを組み込むことにより,licの領域適応手法を提案する。 潜伏チャネルと周波数成分の類似性からインスピレーションを得て,LISPの領域間隙を解析し,トレーニング外領域画像が事前学習されたチャネルの分解を阻害することを観察する。 そこで本研究では,コンボリューションベースのアダプタと低ランクアダプタを用いたチャネルワイズ再配置手法を提案する。 提案手法は,H.266/VVCイントラ符号化に匹敵する性能を25個のターゲットドメインサンプルで達成し,事前学習モデルを大幅に向上することを示す。 さらに,本手法は,パラメータの2\%以下を送信しながら,フルモデルファインチューンの性能と一致させる。

関連論文リスト

• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
  画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。 実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。 我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-29T07:14:16Z)
• Zero-Shot Image Compression with Diffusion-Based Posterior Sampling [34.50287066865267]
  本研究は、既存の事前学習拡散モデルで学習された画像を利用して、損失画像圧縮の課題を解決することで、このギャップに対処する。 PSC (Posterior Sampling-based Compression) は, ゼロショット拡散を用いた後部サンプルを用いた。 PSCは,画像圧縮のための事前学習拡散モデルと後部サンプルのさらなる探索を行うため,確立された手法と比較して,競争力のある結果が得られる。
  論文  参考訳（メタデータ） (2024-07-13T14:24:22Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Progressive Learning with Visual Prompt Tuning for Variable-Rate Image Compression [60.689646881479064]
  本稿では,変圧器を用いた可変レート画像圧縮のためのプログレッシブラーニングパラダイムを提案する。 視覚的プロンプトチューニングにインスパイアされた私たちは,エンコーダ側とデコーダ側でそれぞれ入力画像と隠蔽特徴のプロンプトを抽出するためにLPMを使用する。 提案モデルでは, 速度歪み特性の観点から現行の可変画像法よりも優れ, スクラッチから訓練した最先端の固定画像圧縮法にアプローチする。
  論文  参考訳（メタデータ） (2023-11-23T08:29:32Z)
• Frequency-Aware Transformer for Learned Image Compression [64.28698450919647]
  学習画像圧縮(lic)のためのマルチスケール指向性アナリシスを初めて実現した周波数認識変換器(FAT)ブロックを提案する。 FATブロックは、自然画像のマルチスケールおよび指向性周波数成分をキャプチャするための周波数分解ウィンドウアテンション(FDWA)モジュールを含む。 また、周波数変調フィードフォワードネットワーク(FMFFN)を導入し、異なる周波数成分を適応的に変調し、周波数歪み性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-25T05:59:25Z)
• Dynamic Low-Rank Instance Adaptation for Universal Neural Image Compression [33.92792778925365]
  ドメイン外のデータセットで観測される速度歪みの減少に対処する低ランク適応手法を提案する。 提案手法は,多様な画像データセットにまたがる普遍性を示す。
  論文  参考訳（メタデータ） (2023-08-15T12:17:46Z)
• LLIC: Large Receptive Field Transform Coding with Adaptive Weights for Learned Image Compression [27.02281402358164]
  学習画像圧縮のための適応重み付き大規模受容場変換符号化を提案する。 カーネルをベースとした奥行きに関する大規模な畳み込みを導入し,複雑さを抑えながら冗長性を向上する。 我々のLLICモデルは最先端のパフォーマンスを実現し、パフォーマンスと複雑さのトレードオフを改善する。
  論文  参考訳（メタデータ） (2023-04-19T11:19:10Z)
• Learned Image Compression with Mixed Transformer-CNN Architectures [21.53261818914534]
  本稿では, 並列トランスフォーマー-CNN混合ブロック(TCM)を提案する。 近年のエントロピー推定モデルとアテンションモジュールの進歩に触発されて,パラメータ効率の高いスウィントランスフォーマーに基づくアテンションを持つチャネルワイドエントロピーモデルを提案する。 実験により,提案手法が最先端の速度歪み性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-27T08:19:01Z)
• Refign: Align and Refine for Adaptation of Semantic Segmentation to Adverse Conditions [78.71745819446176]
  Refignは、ドメイン間の通信を利用する自己学習ベースのUDAメソッドへの汎用的な拡張である。 Refign は,(1) 不確実性を認識した高密度マッチングネットワークを用いて,正常条件画像と対応する悪条件画像とを整列させ,(2) 適応ラベル補正機構を用いて正常予測で悪条件予測を精査する。 このアプローチでは、追加のトレーニングパラメータや、トレーニングのみの計算オーバーヘッドの最小化は導入されず、任意の自己学習ベースのUDAメソッドを改善するためにドロップイン拡張として使用することができる。
  論文  参考訳（メタデータ） (2022-07-14T11:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。