論文の概要: Chasing Better Deep Image Priors between Over- and Under-parameterization

• arxiv url: http://arxiv.org/abs/2410.24187v1
• Date: Thu, 31 Oct 2024 17:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:05.574223
• Title: Chasing Better Deep Image Priors between Over- and Under-parameterization
• Title（参考訳）: オーバーパラメトリゼーションとアンダーパラメトリゼーションの相違
• Authors: Qiming Wu, Xiaohan Chen, Yifan Jiang, Zhangyang Wang,
• Abstract要約: そこで本研究では,DNN固有の空間性を利用して,LIP(lottery image prior)を新たに検討する。 LIPworksは、コンパクトなモデルサイズでディープデコーダを著しく上回っている。 また、LIPを圧縮センシング画像再構成に拡張し、事前学習したGANジェネレータを前者として使用する。
• 参考スコア（独自算出の注目度）: 63.8954152220162
• License:
• Abstract: Deep Neural Networks (DNNs) are well-known to act as over-parameterized deep image priors (DIP) that regularize various image inverse problems. Meanwhile, researchers also proposed extremely compact, under-parameterized image priors (e.g., deep decoder) that are strikingly competent for image restoration too, despite a loss of accuracy. These two extremes push us to think whether there exists a better solution in the middle: between over- and under-parameterized image priors, can one identify "intermediate" parameterized image priors that achieve better trade-offs between performance, efficiency, and even preserving strong transferability? Drawing inspirations from the lottery ticket hypothesis (LTH), we conjecture and study a novel "lottery image prior" (LIP) by exploiting DNN inherent sparsity, stated as: given an over-parameterized DNN-based image prior, it will contain a sparse subnetwork that can be trained in isolation, to match the original DNN's performance when being applied as a prior to various image inverse problems. Our results validate the superiority of LIPs: we can successfully locate the LIP subnetworks from over-parameterized DIPs at substantial sparsity ranges. Those LIP subnetworks significantly outperform deep decoders under comparably compact model sizes (by often fully preserving the effectiveness of their over-parameterized counterparts), and they also possess high transferability across different images as well as restoration task types. Besides, we also extend LIP to compressive sensing image reconstruction, where a pre-trained GAN generator is used as the prior (in contrast to untrained DIP or deep decoder), and confirm its validity in this setting too. To our best knowledge, this is the first time that LTH is demonstrated to be relevant in the context of inverse problems or image priors.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、様々な画像逆問題を調整する過パラメータ化されたディープイメージプリエント(DIP)としてよく知られている。 一方、研究者らは、精度の低下にもかかわらず画像復元にも非常に適する、非常にコンパクトでパラメータの低い画像先行(例えばディープデコーダ)も提案した。 これら2つの極端は、中間により良い解決策があるかどうかを考えるように促します。過度にパラメータ化された画像と過度にパラメータ化された画像の間に、パフォーマンスと効率のトレードオフをより良く達成し、強力な転送可能性を維持するための"中間"パラメータ化されたイメージを特定できますか? ロータリーチケット仮説(LTH)からインスピレーションを得て,DNN固有の空間性を利用して,新たな「ロタリー画像前」(LIP)を推測し,研究する。 以上の結果から, LIP サブネットワークは, 過パラメータ化 DIP からかなり広い範囲で特定できることがわかった。 これらのLIPサブネットは、非常にコンパクトなモデルサイズ下でのディープデコーダ(多くの場合、過度にパラメータ化されたモデルの有効性を十分に保っている)を著しく上回り、また、異なる画像と復元タスクタイプ間で高い転送性を持っている。 さらに、LIPを圧縮センシング画像再構成に拡張し、事前学習したGANジェネレータを前者(訓練されていないDIPやディープデコーダとは対照的)として使用し、この設定でもその妥当性を確認した。 我々の知る限り、LTHが逆問題や画像先行の文脈で関係があることが証明されたのはこれが初めてである。

関連論文リスト

• Blind Image Deconvolution Using Variational Deep Image Prior [4.92175281564179]
  本稿では,視覚障害者のための新しい変分深度画像前処理(VDIP)を提案する。 VDIPは、潜時シャープ画像に付加的な手作り画像の先行を悪用し、各ピクセルの分布を近似して、最適以下の解を避ける。 実験により、生成された画像は、ベンチマークデータセットのオリジナルのDIPよりも品質が良いことが示された。
  論文  参考訳（メタデータ） (2022-02-01T01:33:58Z)
• On Measuring and Controlling the Spectral Bias of the Deep Image Prior [63.88575598930554]
  深層画像は、未学習のネットワークが逆画像問題に対処できることを実証している。 ピークに達するとパフォーマンスが低下するので、いつ最適化を止めるかを決めるにはオラクルが必要です。 これらの問題に対処するために、スペクトルバイアスの観点から先行した深部画像について検討する。
  論文  参考訳（メタデータ） (2021-07-02T15:10:42Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Blind Image Restoration with Flow Based Priors [19.190289348734215]
  未知の劣化を伴う盲点において、優れた先行性は依然として不可欠である。 本稿では, 正規化フローを用いて対象コンテンツの分布をモデル化し, 最大アフターリ(MAP)の定式化に先立ってこれを前もって用いることを提案する。 我々の知る限りでは、これは画像強調問題に先行する正規化フローを探求する最初の研究である。
  論文  参考訳（メタデータ） (2020-09-09T21:40:11Z)
• The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
  本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。 次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。 そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-16T08:17:44Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)
• BP-DIP: A Backprojection based Deep Image Prior [49.375539602228415]
  画像復元手法として, (i)Deep Image Prior (DIP) と (ii) バックプロジェクション (BP) の2つの手法を提案する。 提案手法はBP-DIP(BP-DIP)と呼ばれ,高いPSNR値とより優れた推論実行時間を持つ通常のDIPよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-11T17:09:12Z)
• Reducing the Representation Error of GAN Image Priors Using the Deep Decoder [29.12824512060469]
  本稿では,GANプリエントとディープデコーダの線形結合としてイメージをモデル化することにより,GANプリエントの表現誤差を低減する手法を提案する。 圧縮センシングと画像スーパーレゾリューションのために、我々のハイブリッドモデルは、GANプリエントとディープデコーダを別々に比較すると、PSNRが常に高い値を示す。
  論文  参考訳（メタデータ） (2020-01-23T18:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。