論文の概要: Learning Image-Adaptive Codebooks for Class-Agnostic Image Restoration

• arxiv url: http://arxiv.org/abs/2306.06513v2
• Date: Tue, 13 Jun 2023 05:06:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 10:30:11.721717
• Title: Learning Image-Adaptive Codebooks for Class-Agnostic Image Restoration
• Title（参考訳）: クラス非依存な画像復元のための画像適応型コードブックの学習
• Authors: Kechun Liu, Yitong Jiang, Inchang Choi, Jinwei Gu
• Abstract要約: クラスに依存しない画像復元のための画像適応型コードブックを学習するためのAdaCodeを提案する。 AdaCodeは、以前の作業よりも柔軟で表現力豊かな離散生成である。
• 参考スコア（独自算出の注目度）: 13.718779033187786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on discrete generative priors, in the form of codebooks, has shown exciting performance for image reconstruction and restoration, as the discrete prior space spanned by the codebooks increases the robustness against diverse image degradations. Nevertheless, these methods require separate training of codebooks for different image categories, which limits their use to specific image categories only (e.g. face, architecture, etc.), and fail to handle arbitrary natural images. In this paper, we propose AdaCode for learning image-adaptive codebooks for class-agnostic image restoration. Instead of learning a single codebook for each image category, we learn a set of basis codebooks. For a given input image, AdaCode learns a weight map with which we compute a weighted combination of these basis codebooks for adaptive image restoration. Intuitively, AdaCode is a more flexible and expressive discrete generative prior than previous work. Experimental results demonstrate that AdaCode achieves state-of-the-art performance on image reconstruction and restoration tasks, including image super-resolution and inpainting.
• Abstract（参考訳）: コードブックの形で、離散生成前処理に関する最近の研究は、コードブックにまたがる離散前処理空間が多様な画像劣化に対するロバスト性を高めるため、画像再構成と復元におけるエキサイティングな性能を示している。 しかしながら、これらの手法では、異なる画像カテゴリのコードブックを個別にトレーニングする必要があるため、特定の画像カテゴリのみ(例えば、顔、アーキテクチャなど)に制限され、任意の自然画像を扱うことができない。 本稿では,クラスに依存しない画像復元のための画像適応型コードブックを学習するためのadacodeを提案する。 イメージカテゴリごとに1つのコードブックを学習するのではなく、基本コードブックのセットを学習します。 入力画像に対して、adacodeは、これらの基底コードブックの重み付き組合せを計算した重みマップを学習し、適応画像復元を行う。 直感的には、AdaCodeは以前の作業よりも柔軟で表現力豊かな離散生成である。 実験により,AdaCodeは,画像の超解像や塗装など,画像の復元と復元作業における最先端のパフォーマンスを達成できることが示されている。

関連論文リスト

• Codebook Transfer with Part-of-Speech for Vector-Quantized Image Modeling [15.132926378740882]
  本稿では、事前学習された言語モデルからVQIMへ、十分に訓練されたコードブックを転送することを目的とした、VQCTというパート・オブ・音声による新しいコードブック転送フレームワークを提案する。 4つのデータセットに対する実験結果から,VQCT法は従来の最先端手法よりも優れたVQIM性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-15T07:24:13Z)
• Masked Autoencoders are Efficient Class Incremental Learners [64.90846899051164]
  クラスインクリメンタルラーニング(CIL)は,過去の知識の破滅的な忘れを回避しつつ,新しいクラスを逐次学習することを目的としている。 本稿では,CIL の学習に Masked Autoencoders (MAEs) を用いることを提案する。
  論文  参考訳（メタデータ） (2023-08-24T02:49:30Z)
• DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation [73.54038780856554]
  クラスインクリメンタルセマンティック(CISS)は、新たに追加されたクラスを漸進的に学習することで、従来のセグメンテーションタスクを拡張する。 これは、事前訓練されたGANから生成された古いクラスサンプルを再生するものである。 そこで我々はDiffusePastを提案する。DiffusePastは拡散型生成再生モジュールを特徴とする新しいフレームワークで、異なる命令でより信頼性の高いマスクで意味論的に正確な画像を生成する。
  論文  参考訳（メタデータ） (2023-08-02T13:13:18Z)
• Not All Image Regions Matter: Masked Vector Quantization for Autoregressive Image Generation [78.13793505707952]
  既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。 そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:15:53Z)
• Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization [73.52943587514386]
  既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。 画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:05Z)
• Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition [36.02360322125622]
  生成した画像と原画像を組み合わせるメタラーニングフレームワークを提案し,その結果の「ハイブリッド」訓練画像がワンショット学習を改善する。 実験では,1ショットのきめ細かい画像分類ベンチマークにおいて,ベースラインよりも一貫した改善が示された。
  論文  参考訳（メタデータ） (2022-04-22T13:11:05Z)
• EEC: Learning to Encode and Regenerate Images for Continual Learning [9.89901717499058]
  Neural Style Transferで自動エンコーダをトレーニングし、画像をエンコードおよび保存します。 エンコードされたエピソードの再構成画像は 破滅的な忘れ物を避けるために 再生される。 本手法は,ベンチマークデータセットにおける最先端手法よりも分類精度を13～17%向上させる。
  論文  参考訳（メタデータ） (2021-01-13T06:43:10Z)
• Storing Encoded Episodes as Concepts for Continual Learning [22.387008072671005]
  継続的な学習アプローチで直面する2つの大きな課題は、データの保存における破滅的な忘れとメモリ制限である。 本稿では,ニューラルスタイルトランスファーを用いたオートエンコーダを訓練し,画像のエンコードと保存を行う,認知にインスパイアされたアプローチを提案する。 ベンチマークデータセットの最先端手法に比べて,分類精度は13～17%向上し,ストレージスペースは78%削減した。
  論文  参考訳（メタデータ） (2020-06-26T04:15:56Z)
• Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
  本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
  論文  参考訳（メタデータ） (2020-04-01T21:16:05Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。