論文の概要: Memory Efficient Patch-based Training for INR-based GANs

• arxiv url: http://arxiv.org/abs/2207.01395v1
• Date: Mon, 4 Jul 2022 13:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 21:04:32.283106
• Title: Memory Efficient Patch-based Training for INR-based GANs
• Title（参考訳）: INR-based GANのためのメモリ効率の良いパッチベーストレーニング
• Authors: Namwoo Lee, Hyunsu Kim, Gayoung Lee, Sungjoo Yoo, Yunjey Choi
• Abstract要約: 既存のアプローチの訓練には、画像解像度に比例した計算コストが要求される。 我々は、INRベースのGANを柔軟な計算コストでトレーニングできる、新しいスケーラブルなアプローチであるマルチステージパッチベースのトレーニングを提案する。 具体的には、パッチを用いて画像の局所的な詳細を学習し、グローバルな構造情報を学習することを可能にする。
• 参考スコア（独自算出の注目度）: 13.19626131847784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies have shown remarkable progress in GANs based on implicit neural representation (INR) - an MLP that produces an RGB value given its (x, y) coordinate. They represent an image as a continuous version of the underlying 2D signal instead of a 2D array of pixels, which opens new horizons for GAN applications (e.g., zero-shot super-resolution, image outpainting). However, training existing approaches require a heavy computational cost proportional to the image resolution, since they compute an MLP operation for every (x, y) coordinate. To alleviate this issue, we propose a multi-stage patch-based training, a novel and scalable approach that can train INR-based GANs with a flexible computational cost regardless of the image resolution. Specifically, our method allows to generate and discriminate by patch to learn the local details of the image and learn global structural information by a novel reconstruction loss to enable efficient GAN training. We conduct experiments on several benchmark datasets to demonstrate that our approach enhances baseline models in GPU memory while maintaining FIDs at a reasonable level.
• Abstract（参考訳）: 近年の研究では、暗黙の神経表現(INR)に基づいて、(x, y)座標を与えられたRGB値を生成するMLPが顕著に進歩している。 画像は、GANアプリケーション(ゼロショット超解像、画像の露光など)のための新しい水平線を開く2Dアレイではなく、基礎となる2D信号の連続バージョンとして表現される。 しかし、既存の手法の訓練には、(x, y) 座標毎に MLP 演算を演算するため、画像解像度に比例した計算コストが必要となる。 この問題を軽減するため,画像解像度に関わらず,INRベースのGANを柔軟な計算コストでトレーニングできる,複数段階のパッチベーストレーニングを提案する。 具体的には,新しい再構成損失により,パッチによって画像の局所的詳細を学習し,全体構造情報を学習し,効率的なgan学習を可能にする。 ベンチマークデータセットで実験を行い,本手法がgpuメモリのベースラインモデルを強化しつつ,fidを妥当なレベルで維持することを示す。

関連論文リスト

• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Combining Attention Module and Pixel Shuffle for License Plate Super-Resolution [3.8831062015253055]
  本研究は,低解像度・低画質画像におけるライセンスプレート(LP)再構成に焦点を当てた。 本稿では、注目/変圧器モジュールの概念を拡張したシングルイメージ超解法(SISR)アプローチを提案する。 実験では, 提案手法は, 定量的および定性的に, ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2022-10-30T13:05:07Z)
• Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization [59.19214040221055]
  本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。 提案手法は従来の手法と比較して90%以上のパラメータを減少させる。 提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
  論文  参考訳（メタデータ） (2021-09-13T07:20:16Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Adversarial Generation of Continuous Images [31.92891885615843]
  本稿では,INRに基づく画像デコーダ構築のための2つの新しいアーキテクチャ手法を提案する。 私たちは、最先端の連続画像GANを構築するためにそれらを使用します。 提案したINR-GANアーキテクチャは連続画像生成装置の性能を数倍改善する。
  論文  参考訳（メタデータ） (2020-11-24T11:06:40Z)
• Efficient texture-aware multi-GAN for image inpainting [5.33024001730262]
  近年のGAN (Generative Adversarial Network) のインペイント手法は顕著に改善されている。 本稿では,性能とレンダリング効率の両方を改善するマルチGANアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-09-30T14:58:03Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Cross-Scale Internal Graph Neural Network for Image Super-Resolution [147.77050877373674]
  自然画像における非局所的な自己相似性は、画像修復に有効な先行研究として、よく研究されている。 単一の画像超解像(SISR)の場合、既存のディープ非局所法のほとんどは、低解像度(LR)入力画像と同じ規模のパッチしか利用していない。 これは、新しいクロススケールな内部グラフニューラルネットワーク(IGNN)を用いて実現される。
  論文  参考訳（メタデータ） (2020-06-30T10:48:40Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)
• Radon cumulative distribution transform subspace modeling for image classification [18.709734704950804]
  画像変形モデルの幅広いクラスに適用可能な新しい教師付き画像分類法を提案する。 この方法は、画像データに先述のRandon Cumulative Distribution Transform(R-CDT)を用いる。 テスト精度の向上に加えて,計算効率の向上も示す。
  論文  参考訳（メタデータ） (2020-04-07T19:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。