論文の概要: Overparametrization of HyperNetworks at Fixed FLOP-Count Enables Fast Neural Image Enhancement

• arxiv url: http://arxiv.org/abs/2105.08470v1
• Date: Tue, 18 May 2021 12:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 13:52:48.546954
• Title: Overparametrization of HyperNetworks at Fixed FLOP-Count Enables Fast Neural Image Enhancement
• Title（参考訳）: 固定フロップ数でのハイパーネットワークのオーバーパラメトリゼーションによる高速ニューラルネットワークの高速化
• Authors: Lorenz K. Muller
• Abstract要約: 深層畳み込みニューラルネットワークは、小型のモバイルカメラセンサーで撮影された画像を強化し、分解、分解、超高解像度化といったタスクに優れる。 モバイルデバイスで実際に使用する場合、これらのネットワークはFLOPを多用し、畳み込み層のFLOPを減らし、パラメータ数を減少させる。 本稿では,HyperNetworksを用いて標準畳み込みのパラメータに対するFLOPの固定比を破ることを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep convolutional neural networks can enhance images taken with small mobile camera sensors and excel at tasks like demoisaicing, denoising and super-resolution. However, for practical use on mobile devices these networks often require too many FLOPs and reducing the FLOPs of a convolution layer, also reduces its parameter count. This is problematic in view of the recent finding that heavily over-parameterized neural networks are often the ones that generalize best. In this paper we propose to use HyperNetworks to break the fixed ratio of FLOPs to parameters of standard convolutions. This allows us to exceed previous state-of-the-art architectures in SSIM and MS-SSIM on the Zurich RAW- to-DSLR (ZRR) data-set at > 10x reduced FLOP-count. On ZRR we further observe generalization curves consistent with 'double-descent' behavior at fixed FLOP-count, in the large image limit. Finally we demonstrate the same technique can be applied to an existing network (VDN) to reduce its computational cost while maintaining fidelity on the Smartphone Image Denoising Dataset (SIDD). Code for key functions is given in the appendix.
• Abstract（参考訳）: 深層畳み込みニューラルネットワークは、小型のモバイルカメラセンサーで撮影された画像を強化し、分解、分解、超高解像度化といったタスクに優れる。 しかし、モバイルデバイスで実際に使用する場合、これらのネットワークはFLOPを多用し、畳み込み層のFLOPを削減し、パラメータ数を減少させる。 これは、過大なパラメータを持つニューラルネットワークがしばしば最も一般化しているという最近の発見から、問題となっている。 本稿では,フロップと標準畳み込みのパラメータの固定比率を破るためにハイパーネットワークの利用を提案する。 これにより、ZRR(Zurich RAW-to-DSLR)データセットにおけるSSIMおよびMS-SSIMの従来の最先端アーキテクチャを10倍に削減できる。 zrr では、より大きな画像限界において、固定フロップ数における「二重増分」挙動と一致する一般化曲線をさらに観察する。 最後に、既存のネットワーク(VDN)に同じ手法を適用することで、スマートフォン画像デノイングデータセット(SIDD)の忠実さを維持しながら計算コストを削減できることを示す。 キー関数のコードは、appendixで与えられる。

関連論文リスト

• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Real-Time Image Demoireing on Mobile Devices [59.59997851375429]
  本稿では,モバイルデバイス上でのリアルタイム展開に向けた動的復号化高速化手法(DDA)を提案する。 私たちの刺激は、モアレパターンが画像全体に不均衡に分散されることが、シンプルで普遍的な事実に起因しています。 提案手法は推定時間を劇的に短縮し,モバイルデバイス上でリアルタイムな画像復調を実現する。
  論文  参考訳（メタデータ） (2023-02-04T15:42:42Z)
• Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
  畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。 SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
  論文  参考訳（メタデータ） (2022-03-16T20:10:41Z)
• Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
  畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。 残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。 我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
  論文  参考訳（メタデータ） (2022-01-28T09:18:43Z)
• Asymmetric CNN for image super-resolution [102.96131810686231]
  深層畳み込みニューラルネットワーク(CNN)は、過去5年間で低レベルビジョンに広く適用されています。 画像超解像のための非対称ブロック(AB)、mem?ory拡張ブロック(MEB)、高周波数特徴強調ブロック(HFFEB)からなる非対称CNN(ACNet)を提案する。 我々のACNetは、ブラインドノイズの単一画像超解像(SISR)、ブラインドSISR、ブラインドSISRを効果的に処理できる。
  論文  参考訳（メタデータ） (2021-03-25T07:10:46Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• A Deeper Look into Convolutions via Pruning [9.89901717499058]
  現代のアーキテクチャは、複数のレイヤの畳み込みの後、しばしば最後に、非常に少数の完全に接続されたレイヤを含んでいる。 この戦略はすでにパラメータの数を削減しているが、ほとんどの畳み込みは認識性能を損なうことなく排除できる。 本研究では,従来の重みに基づく重み付け手法に加えて,固有値に基づく行列特性を用いて,広く使用されているCNNファミリーの内部機構に光を当てる。
  論文  参考訳（メタデータ） (2021-02-04T18:55:03Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• A Light-Weighted Convolutional Neural Network for Bitemporal SAR Image Change Detection [40.58864817923371]
  計算と空間の複雑さを低減するために,軽量なニューラルネットワークを提案する。 提案するネットワークでは、通常の畳み込み層を、入力と出力の間に同じ数のチャネルを保持するボトルネック層に置き換える。 両時間SAR画像の4つのセット上で、重み付けされたニューラルネットワークを検証する。
  論文  参考訳（メタデータ） (2020-05-29T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。