論文の概要: Harmonizer: Learning to Perform White-Box Image and Video Harmonization

• arxiv url: http://arxiv.org/abs/2207.01322v1
• Date: Mon, 4 Jul 2022 10:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 15:15:43.081343
• Title: Harmonizer: Learning to Perform White-Box Image and Video Harmonization
• Title（参考訳）: Harmonizer: ホワイトボックスイメージとビデオハーモナイズを実現するための学習
• Authors: Zhanghan Ke, Chunyi Sun, Lei Zhu, Ke Xu, Rynson W.H. Lau
• Abstract要約: 画像調和のためのハーモナイザフレームワークを提案する。 ブラックボックスオートエンコーダに基づく従来の方法とは異なり、Harmonizerには、フィルタ引数予測のためのニューラルネットワークが含まれている。 また、フレーム間で一貫した結果が得られ、1080P解像度で56fpsとなるハーモナイザをビデオハーモニゼーションに適用する。
• 参考スコア（独自算出の注目度）: 45.113041124582274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works on image harmonization solve the problem as a pixel-wise image translation task via large autoencoders. They have unsatisfactory performances and slow inference speeds when dealing with high-resolution images. In this work, we observe that adjusting the input arguments of basic image filters, e.g., brightness and contrast, is sufficient for humans to produce realistic images from the composite ones. Hence, we frame image harmonization as an image-level regression problem to learn the arguments of the filters that humans use for the task. We present a Harmonizer framework for image harmonization. Unlike prior methods that are based on black-box autoencoders, Harmonizer contains a neural network for filter argument prediction and several white-box filters (based on the predicted arguments) for image harmonization. We also introduce a cascade regressor and a dynamic loss strategy for Harmonizer to learn filter arguments more stably and precisely. Since our network only outputs image-level arguments and the filters we used are efficient, Harmonizer is much lighter and faster than existing methods. Comprehensive experiments demonstrate that Harmonizer surpasses existing methods notably, especially with high-resolution inputs. Finally, we apply Harmonizer to video harmonization, which achieves consistent results across frames and 56 fps at 1080P resolution. Code and models are available at: https://github.com/ZHKKKe/Harmonizer.
• Abstract（参考訳）: 画像調和化に関する最近の研究は、大きなオートエンコーダによる画素単位の画像変換タスクとしてこの問題を解決している。 高解像度画像を扱う場合、満足のいくパフォーマンスと推論速度が遅い。 本研究では,基本画像フィルタの入力引数,例えば明るさやコントラストの調整は,人間が合成画像からリアルな画像を生成するのに十分であることを示す。 したがって、画像調和を画像レベルの回帰問題として捉え、人間がタスクに使用するフィルタの引数を学習する。 画像調和のためのハーモナイザフレームワークを提案する。 ブラックボックスオートエンコーダに基づく以前の方法とは異なり、harmonizerにはフィルタ引数予測のためのニューラルネットワークと、画像調和のためのホワイトボックスフィルタ(予測された引数に基づく)が含まれている。 また,Halmonizer のカスケード回帰器と動的損失戦略を導入し,より安定かつ正確にフィルタ引数を学習する。 私たちのネットワークは画像レベルの引数のみを出力し、使用するフィルタは効率的であるため、harmonizerは既存のメソッドよりもはるかに軽量で高速です。 総合的な実験により、ハーモナイザーは特に高分解能入力において既存の手法を超越していることが示されている。 最後に、ハーモナイザーをビデオハーモニゼーションに適用し、1080P解像度でフレーム間56fpsで一貫した結果を得る。 コードとモデルは、https://github.com/zhkke/harmonizerで入手できる。

関連論文リスト

• Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder [29.924160271522354]
  超解像度(SR)と画像生成はコンピュータビジョンにおいて重要なタスクであり、現実世界のアプリケーションで広く採用されている。 しかし、既存のほとんどの手法は、固定スケールの倍率でのみ画像を生成し、過度なスムーシングやアーティファクトに悩まされている。 最も関連する研究は、インプリシット神経表現(INR)をデノナイズ拡散モデルに適用し、連続分解能で多種多様で高品質なSR結果を得た。 任意のスケールで入力画像の超解像やランダムノイズから生成できる新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-15T12:45:40Z)
• CoordFill: Efficient High-Resolution Image Inpainting via Parameterized Coordinate Querying [52.91778151771145]
  本稿では,近年の連続的暗黙表現の発達により,その限界を初めて破ろうとする。 実験の結果,提案手法はGTX 2080 Ti GPUを用いて2048$times$2048の画像をリアルタイムに処理できることがわかった。
  論文  参考訳（メタデータ） (2023-03-15T11:13:51Z)
• Dense Pixel-to-Pixel Harmonization via Continuous Image Representation [22.984119094424056]
  Inlicit Neural Networks (HINet) を用いた新しい画像調和手法を提案する。 Retinex理論に触発されて、調和を2つの部分に分離し、合成画像の内容と環境をそれぞれキャプチャする。 本手法の有効性を,最先端の手法と比較した実験により検証した。
  論文  参考訳（メタデータ） (2023-03-03T02:52:28Z)
• DCCF: Deep Comprehensible Color Filter Learning Framework for High-Resolution Image Harmonization [14.062386668676533]
  本稿では,高分解能画像調和のためのDeep Comprehensible Color Filter (DCCF) 学習フレームワークを提案する。 DCCFは、4つの人間の理解可能なニューラルネットワーク(色調、飽和度、値、減衰率)をエンドツーエンドで学習する。 MSEとPSNRでそれぞれ7.63%と1.69%の改善を達成し、画像のフル解像度でiHarmony4データセットの最先端のポストプロセッシング手法を上回っている。
  論文  参考訳（メタデータ） (2022-07-11T11:42:10Z)
• FRIH: Fine-grained Region-aware Image Harmonization [49.420765789360836]
  我々は,FRIH(Fentral-Aware Image Harmonization)のための新しいグローバルな2段階フレームワークを提案する。 提案アルゴリズムは,軽量モデルを用いて,iHarmony4データセット(PSNRは38.19dB)上で最高の性能を実現する。
  論文  参考訳（メタデータ） (2022-05-13T04:50:26Z)
• Image Restoration in Non-Linear Filtering Domain using MDB approach [0.0]
  画像強調の目的は、破損した画像から真のイメージを再構築することである。 画像劣化は、元の画像に異なる種類のノイズが加えられることによる可能性がある。 インパルスノイズは、局所的な近傍と一致しない灰色の値の画素を生成する。
  論文  参考訳（メタデータ） (2022-04-20T08:23:52Z)
• Interactive Portrait Harmonization [99.15331091722231]
  現在の画像調和法は、背景全体を調和のためのガイダンスと見なしている。 背景画像の特定の領域を選択して、調和を導くための新しいフレキシブルなフレームワークが提案されている。 プロのポートレートハーモニゼーション利用者に触発されて、合成フォアグラウンドと選択基準領域の間の色/輝度条件を最適に整合させる新しい輝度マッチング損失も導入する。
  論文  参考訳（メタデータ） (2022-03-15T19:30:34Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)
• Deep Contrastive Patch-Based Subspace Learning for Camera Image Signal Processing [5.678834480723395]
  我々は、カメラISPを改良し、異質なアーティファクトに対して堅牢なパッチベースのローカルサブスペースディープニューラルネットワークを提案する。 Patch Subspace Learning Autoencoder (PSL-AE) と呼ぶ。 PSL-AEは、コントラスト学習によって、異なるアーティファクトタイプや歪みレベルを持つ、ノイズの多い第2クリーンイメージペアから抽出されたパッチを符号化する。
  論文  参考訳（メタデータ） (2021-04-01T04:40:22Z)
• Unrolling of Deep Graph Total Variation for Image Denoising [106.93258903150702]
  本稿では,従来のグラフ信号フィルタリングと深い特徴学習を併用して,競合するハイブリッド設計を提案する。 解釈可能な低パスグラフフィルタを用い、最先端のDL復調方式DnCNNよりも80%少ないネットワークパラメータを用いる。
  論文  参考訳（メタデータ） (2020-10-21T20:04:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。