論文の概要: Teachers Do More Than Teach: Compressing Image-to-Image Models

• arxiv url: http://arxiv.org/abs/2103.03467v1
• Date: Fri, 5 Mar 2021 04:29:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-08 20:02:48.347469
• Title: Teachers Do More Than Teach: Compressing Image-to-Image Models
• Title（参考訳）: 教師が教えるよりも、画像と画像のモデルを圧縮する
• Authors: Qing Jin, Jian Ren, Oliver J. Woodford, Jiazhuo Wang, Geng Yuan, Yanzhi Wang, Sergey Tulyakov
• Abstract要約: generative adversarial networks (gans) は高忠実度画像の生成に多大な成功を収めている。 ganは膨大な計算コストと大量のメモリ使用量のために低効率に苦しむ。 圧縮GANの最近の取り組みは、小型発電機の取得の顕著な進歩を示しています。
• 参考スコア（独自算出の注目度）: 35.40756344110666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Adversarial Networks (GANs) have achieved huge success in generating high-fidelity images, however, they suffer from low efficiency due to tremendous computational cost and bulky memory usage. Recent efforts on compression GANs show noticeable progress in obtaining smaller generators by sacrificing image quality or involving a time-consuming searching process. In this work, we aim to address these issues by introducing a teacher network that provides a search space in which efficient network architectures can be found, in addition to performing knowledge distillation. First, we revisit the search space of generative models, introducing an inception-based residual block into generators. Second, to achieve target computation cost, we propose a one-step pruning algorithm that searches a student architecture from the teacher model and substantially reduces searching cost. It requires no l1 sparsity regularization and its associated hyper-parameters, simplifying the training procedure. Finally, we propose to distill knowledge through maximizing feature similarity between teacher and student via an index named Global Kernel Alignment (GKA). Our compressed networks achieve similar or even better image fidelity (FID, mIoU) than the original models with much-reduced computational cost, e.g., MACs. Code will be released at https://github.com/snap-research/CAT.
• Abstract（参考訳）: generative adversarial networks (gans) は高忠実度画像の生成に多大な成功を収めているが、膨大な計算コストとかさばるメモリ使用により効率が低下している。 圧縮GANの最近の取り組みは、画像品質を犠牲にしたり、時間のかかる探索プロセスを含むことで、小型発電機の獲得の顕著な進歩を示しています。 本研究では,知識蒸留に加えて,効率的なネットワークアーキテクチャの発見が可能な検索空間を提供する教師ネットワークを導入することで,これらの課題に対処することを目的とする。 まず,生成モデルの探索空間を再検討し,インセプションに基づく残差ブロックを生成器に導入する。 第2に,目標計算コストを達成するために,教師モデルから学生のアーキテクチャを検索し,検索コストを大幅に削減する一段階の刈り込みアルゴリズムを提案する。 l1間隔の正規化とそれに関連するハイパーパラメータは不要で、トレーニング手順が簡単になる。 最後に,グローバルカーネルアライメント(gka)という指標を用いて教師と生徒の特徴的類似性を最大化することで知識を蒸留する。 当社の圧縮ネットワークは、MACなどの計算コストを大幅に削減した元のモデルよりも、類似またはさらに優れた画像忠実性(FID、mIoU)を実現します。 コードはhttps://github.com/snap-research/CATで公開される。

関連論文リスト

• Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [49.81353382211113]
  マルチヘッド自己認識を高分解能表現CNNに効率的に組み込むという課題に対処する。 本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。 本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T15:47:54Z)
• UGC: Unified GAN Compression for Efficient Image-to-Image Translation [20.3126581529643]
  我々はモデル効率とラベル効率の学習の相乗効果をシームレスに促進するための統一的な目的を持った新しい学習パラダイムUnified GAN Compression (UGC)を提案する。 異種相互学習スキームを定式化し、アーキテクチャに柔軟で、ラベル効率が高く、性能に優れたモデルを得る。
  論文  参考訳（メタデータ） (2023-09-17T15:55:09Z)
• AutoDistil: Few-shot Task-agnostic Neural Architecture Search for Distilling Large Language Models [121.22644352431199]
  ニューラルアーキテクチャサーチ (NAS) を用いて、大容量モデルから可変コストで複数の圧縮された学生を自動的に抽出する。 現在の作業では、ウェイトシェアリングを備えた数百万の作業からなる1つのSuperLMをトレーニングしています。 最先端のKDおよびNAS手法に対するGLUEベンチマーク実験は、AutoDistilが先行圧縮技術より優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T06:13:04Z)
• Online Multi-Granularity Distillation for GAN Compression [17.114017187236836]
  GAN(Generative Adversarial Networks)は、優れた画像の獲得に成功している。 GANは、計算コストの最小化とメモリ使用の急激さにより、リソースに制約のあるデバイスにデプロイするのは難しい。 本稿では, 軽量なGANを得るために, オンライン多粒度蒸留方式を提案する。
  論文  参考訳（メタデータ） (2021-08-16T05:49:50Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Learning with Privileged Information for Efficient Image Super-Resolution [35.599731963795875]
  本稿では,FSRCNNの性能を大幅に向上させる,教員ネットワークと学生ネットワークからなる新しい蒸留フレームワークについて紹介する。 教師のエンコーダは、模倣損失を用いて劣化過程、HR画像のサブサンプリングを学習する。 FSRCNNと同じネットワークアーキテクチャを持つ教師の生徒とデコーダは、HR画像の再構築を試みる。
  論文  参考訳（メタデータ） (2020-07-15T07:44:18Z)
• Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model [57.41841346459995]
  我々は,ブラックボックス教師モデルから知識を抽出し,学生の深層ニューラルネットワークを視覚認識のために訓練する方法を,データ効率のよい方法で研究する。 混合学習とアクティブラーニングを融合した手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T05:44:55Z)
• GAN Compression: Efficient Architectures for Interactive Conditional GANs [45.012173624111185]
  最近のコンディショナル・ジェネレーティブ・アドバイサル・ネットワーク(cGAN)は、現代の認識CNNよりも1～2桁の計算集約性がある。 本稿では,cGANにおけるジェネレータの推論時間とモデルサイズを低減するための汎用圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-19T17:59:05Z)
• Distilling portable Generative Adversarial Networks for Image Translation [101.33731583985902]
  従来のネットワーク圧縮手法は、視覚的に認識されるタスクに焦点をあてるが、生成タスクには対処しない。 知識蒸留にインスパイアされた学生は、元の重教師ジェネレータから低レベルおよび高レベル情報を継承することにより、少ないパラメータの学生ジェネレータを訓練する。 生徒ジェネレータと生徒識別器を最適化するために、対向学習プロセスを確立する。
  論文  参考訳（メタデータ） (2020-03-07T05:53:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。