論文の概要: DIPNet: Efficiency Distillation and Iterative Pruning for Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2304.07018v1
• Date: Fri, 14 Apr 2023 09:23:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 14:05:15.125964
• Title: DIPNet: Efficiency Distillation and Iterative Pruning for Image Super-Resolution
• Title（参考訳）: DIPNet: 画像超解像における高効率蒸留とイテレーティブプルーニング
• Authors: Lei Yu, Xinpeng Li, Youwei Li, Ting Jiang, Qi Wu, Haoqiang Fan, Shuaicheng Liu
• Abstract要約: 本稿では,軽量ネットワークが優れた性能を達成できる,新しいマルチステージ軽量ネットワークブースティング手法を提案する。 具体的には、軽量な学生ネットワークの学習能力を向上させるために、高度な高解像度出力を追加の監督として活用する。 我々は、マルチアンカー蒸留とプログレッシブラーニングを組み合わせた効果的な軽量ネットワークトレーニング戦略を採用し、軽量ネットワークの優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 38.73287113121911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient deep learning-based approaches have achieved remarkable performance in single image super-resolution. However, recent studies on efficient super-resolution have mainly focused on reducing the number of parameters and floating-point operations through various network designs. Although these methods can decrease the number of parameters and floating-point operations, they may not necessarily reduce actual running time. To address this issue, we propose a novel multi-stage lightweight network boosting method, which can enable lightweight networks to achieve outstanding performance. Specifically, we leverage enhanced high-resolution output as additional supervision to improve the learning ability of lightweight student networks. Upon convergence of the student network, we further simplify our network structure to a more lightweight level using reparameterization techniques and iterative network pruning. Meanwhile, we adopt an effective lightweight network training strategy that combines multi-anchor distillation and progressive learning, enabling the lightweight network to achieve outstanding performance. Ultimately, our proposed method achieves the fastest inference time among all participants in the NTIRE 2023 efficient super-resolution challenge while maintaining competitive super-resolution performance. Additionally, extensive experiments are conducted to demonstrate the effectiveness of the proposed components. The results show that our approach achieves comparable performance in representative dataset DIV2K, both qualitatively and quantitatively, with faster inference and fewer number of network parameters.
• Abstract（参考訳）: 深層学習に基づく効率的なアプローチは、単一画像の超解像において顕著な性能を達成した。 しかし,近年の高効率超解像の研究は,様々なネットワーク設計によるパラメータ数や浮動小数点演算の削減に主眼を置いている。 これらの方法はパラメータ数や浮動小数点演算を減少させるが、必ずしも実際の実行時間を減少させるわけではない。 そこで,本稿では,軽量ネットワークが優れた性能を実現するための,新しい多段軽量ネットワークブースティング手法を提案する。 具体的には,強化された高分解能出力を追加監督として活用し,軽量学生ネットワークの学習能力を向上させる。 学生ネットワークの収束に伴い、再パラメータ化技術と反復的ネットワークプルーニングを用いて、ネットワーク構造をより軽量なレベルに単純化する。 一方,マルチアンカー蒸留とプログレッシブラーニングを組み合わせた効果的な軽量ネットワークトレーニング戦略を採用し,軽量ネットワークの優れた性能を実現する。 提案手法は,競争力のある超解像性能を維持しつつ,NTIRE 2023の高効率超解像課題において,最も高速な推定時間を達成している。 さらに,提案手法の有効性を示すため,広範囲な実験を行った。 その結果,提案手法は定性的にも定量的にも,高速な推論とネットワークパラメータの少ない代表データセットDIV2Kで同等の性能を達成できた。

関連論文リスト

• Fast and Scalable Network Slicing by Integrating Deep Learning with Lagrangian Methods [8.72339110741777]
  ネットワークスライシングは、多種多様なサービスを効率的にサポートするために、5G以上の重要なテクニックである。 ディープラーニングモデルは、動的スライシング構成に対する限定的な一般化と適応性に悩まされる。 本稿では,制約付き最適化手法とディープラーニングモデルを統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-22T07:19:16Z)
• One is More: Diverse Perspectives within a Single Network for Efficient DRL [43.249133438809125]
  OMNetは、単一のネットワーク内で複数のワークを活用する新しい学習パラダイムであり、多様なアウトプットを効率的に提供する。 OMNetは、最小限の追加オーバーヘッドで、様々な深層強化学習アルゴリズムに容易に適用できる。
  論文  参考訳（メタデータ） (2023-10-21T13:37:13Z)
• RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
  深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。 本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-17T11:06:29Z)
• Residual Local Feature Network for Efficient Super-Resolution [20.62809970985125]
  本研究では,Residual Local Feature Network (RLFN)を提案する。 主なアイデアは、3つの畳み込みレイヤを局所的な特徴学習に使用して、機能の集約を単純化することだ。 さらに,NTIRE 2022の高効率超解像問題において,第1位を獲得した。
  論文  参考訳（メタデータ） (2022-05-16T08:46:34Z)
• Dynamic Sparse Training for Deep Reinforcement Learning [36.66889208433228]
  我々は,ニューラルネットワークをスクラッチから切り離した深層強化学習エージェントを動的に訓練する試みを初めて提案する。 私たちのアプローチは、既存の深層強化学習アルゴリズムに簡単に統合できます。 我々は,オープンAI体育連続制御タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-06-08T09:57:20Z)
• CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
  高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。 スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。 提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
  論文  参考訳（メタデータ） (2021-04-09T14:12:43Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Deep Iterative Residual Convolutional Network for Single Image Super-Resolution [31.934084942626257]
  我々は、ISRResCNet(Deep Iterative Super-Resolution Residual Convolutional Network)を提案する。 残差学習アプローチを用いて、深層ネットワークを反復的に訓練することにより、強力な画像正規化と大規模最適化手法を活用する。 トレーニング可能なパラメータがいくつかある本手法は,最先端の手法と比較して,異なるスケーリング要因に対する結果を改善する。
  論文  参考訳（メタデータ） (2020-09-07T12:54:14Z)
• Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
  本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。 ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
  論文  参考訳（メタデータ） (2020-03-16T16:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。