論文の概要: Random Weights Networks Work as Loss Prior Constraint for Image Restoration

• arxiv url: http://arxiv.org/abs/2303.16438v1
• Date: Wed, 29 Mar 2023 03:43:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 16:04:41.077860
• Title: Random Weights Networks Work as Loss Prior Constraint for Image Restoration
• Title（参考訳）: ランダム・ウェイト・ネットワークは画像復元の事前制約として機能する
• Authors: Man Zhou, Naishan Zheng, Jie Huang, Xiangyu Rui, Chunle Guo, Deyu Meng, Chongyi Li, Jinwei Gu
• Abstract要約: 「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
• 参考スコア（独自算出の注目度）: 50.80507007507757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, orthogonal to the existing data and model studies, we instead resort our efforts to investigate the potential of loss function in a new perspective and present our belief ``Random Weights Networks can Be Acted as Loss Prior Constraint for Image Restoration''. Inspired by Functional theory, we provide several alternative solutions to implement our belief in the strict mathematical manifolds including Taylor's Unfolding Network, Invertible Neural Network, Central Difference Convolution and Zero-order Filtering as ``random weights network prototype'' with respect of the following four levels: 1) the different random weights strategies; 2) the different network architectures, \emph{eg,} pure convolution layer or transformer; 3) the different network architecture depths; 4) the different numbers of random weights network combination. Furthermore, to enlarge the capability of the randomly initialized manifolds, we devise the manner of random weights in the following two variants: 1) the weights are randomly initialized only once during the whole training procedure; 2) the weights are randomly initialized at each training iteration epoch. Our propose belief can be directly inserted into existing networks without any training and testing computational cost. Extensive experiments across multiple image restoration tasks, including image de-noising, low-light image enhancement, guided image super-resolution demonstrate the consistent performance gains obtained by introducing our belief. To emphasize, our main focus is to spark the realms of loss function and save their current neglected status. Code will be publicly available.
• Abstract（参考訳）: 本稿では,既存のデータとモデル研究とを直交させて,新たな視点で損失関数の可能性について検討し,「ランダム重みネットワークは画像復元の損失前制約として機能できる」という信念を提示する。 関数理論に触発されて、Taylor's Unfolding Network、Invertible Neural Network、Central Different Convolution、Zero-order Filteringなどの厳密な数学的多様体に対する信念を「ランダム重み付けネットワークプロトタイプ」として実装するためのいくつかの代替ソリューションを提供する。 1) 異なるランダムウェイト戦略 2) 異なるネットワークアーキテクチャ, \emph{eg,} 純粋な畳み込み層又はトランスフォーマー 3)異なるネットワークアーキテクチャの深さ。 4)ランダム重みネットワークの組み合わせの異なる数。 さらに、ランダムに初期化された多様体の能力を拡大するために、以下の2つの変種におけるランダムウェイト法を考案する。 1) 重量は,訓練の期間中に一度だけランダムに初期化される。 2) 重みは訓練期間毎にランダムに初期化される。 提案する信念は,計算コストのトレーニングやテストを行わずに,既存のネットワークに直接挿入することができる。 画像復調,低照度画像強調,誘導画像超解像など,複数の画像復元作業における広範囲な実験により,我々の信念を取り入れた一貫した性能向上が示された。 強調するのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。 コードは公開されます。

関連論文リスト

• Efficient Training with Denoised Neural Weights [65.14892033932895]
  この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。 本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。 拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
  論文  参考訳（メタデータ） (2024-07-16T17:59:42Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• A Perturbation Resistant Transformation and Classification System for Deep Neural Networks [0.685316573653194]
  深層畳み込みニューラルネットワークは、さまざまな自然画像の正確な分類を行うが、設計時には容易に認識できる。 本稿では,攻撃的かつ容易に推定できないマルチプロハングトレーニング,非バウンド入力変換,画像アンサンブルシステムを設計する。
  論文  参考訳（メタデータ） (2022-08-25T02:58:47Z)
• Signing the Supermask: Keep, Hide, Invert [0.9475039534437331]
  ニューラルネットワークの初期重みを落とすか、それぞれの符号を反転させる新しいアプローチを提案する。 我々は,様々なベースラインモデルと過去のモデルとをマッチングまたはオーバーしながら,最大99%のプルーニング率を達成する。
  論文  参考訳（メタデータ） (2022-01-31T17:17:37Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• ZerO Initialization: Initializing Residual Networks with only Zeros and Ones [44.66636787050788]
  ディープニューラルネットワークは通常ランダムウェイトを持ち、トレーニング中に安定した信号伝達を保証するために適切に選択された初期分散を持つ。 ばらつきの選択方法にはコンセンサスがなく、レイヤーの数が増えるにつれて、これは難しくなります。 本研究では、広く使われているランダムウェイト初期化を、ゼロと1しか持たない残差ネットワークを初期化する完全決定論的初期化スキームZerOに置き換える。 驚くべきことに、ZerOはImageNetを含むさまざまな画像分類データセットに対して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-10-25T06:17:33Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。