論文の概要: Exploring Content Relationships for Distilling Efficient GANs

• arxiv url: http://arxiv.org/abs/2212.11091v1
• Date: Wed, 21 Dec 2022 15:38:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 15:12:43.123416
• Title: Exploring Content Relationships for Distilling Efficient GANs
• Title（参考訳）: 蒸留効率向上のための内容関係の探索
• Authors: Lizhou You, Mingbao Lin, Tie Hu, Fei Chao, Rongrong Ji
• Abstract要約: 本稿では,過剰パラメータ生成逆数ネットワーク(GAN)に対処するコンテンツ関係蒸留(CRD)を提案する。 従来のインスタンスレベルの蒸留とは対照的に,教師出力の内容を細粒度にスライスすることで,新しいGAN圧縮指向の知識を設計する。 提案した内容レベルの蒸留をベースとして,オンライン教師識別器を配置し,教師生成器と共同訓練した場合の更新を継続し,生徒生成器と共同訓練した場合の凍結を継続し,より良い対人訓練を行う。
• 参考スコア（独自算出の注目度）: 69.86835014810714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a content relationship distillation (CRD) to tackle the over-parameterized generative adversarial networks (GANs) for the serviceability in cutting-edge devices. In contrast to traditional instance-level distillation, we design a novel GAN compression oriented knowledge by slicing the contents of teacher outputs into multiple fine-grained granularities, such as row/column strips (global information) and image patches (local information), modeling the relationships among them, such as pairwise distance and triplet-wise angle, and encouraging the student to capture these relationships within its output contents. Built upon our proposed content-level distillation, we also deploy an online teacher discriminator, which keeps updating when co-trained with the teacher generator and keeps freezing when co-trained with the student generator for better adversarial training. We perform extensive experiments on three benchmark datasets, the results of which show that our CRD reaches the most complexity reduction on GANs while obtaining the best performance in comparison with existing methods. For example, we reduce MACs of CycleGAN by around 40x and parameters by over 80x, meanwhile, 46.61 FIDs are obtained compared with these of 51.92 for the current state-of-the-art. Code of this project is available at https://github.com/TheKernelZ/CRD.
• Abstract（参考訳）: 本稿では, 最先端デバイスにおいて, 過度にパラメータ化された生成逆数ネットワーク(GAN)に対処するためのコンテンツ関係蒸留(CRD)を提案する。 従来のインスタンスレベルの蒸留とは対照的に,教師出力の内容を,行/カラムストリップ(グローバル情報)やイメージパッチ(ローカル情報)などの細粒度にスライスし,ペアワイズ距離やトリプルトワイズ角度などのそれらの関係をモデル化し,その出力内容内でこれらの関係を捉えるように学生に促すことで,gan圧縮指向の新たな知識を設計する。 提案した内容レベルの蒸留をベースとして,オンライン教師識別器を配置し,教師生成器との共同訓練時の更新を継続し,学生生成器との共同訓練時の凍結を防止し,より良い対人訓練を行う。 我々は3つのベンチマークデータセットに対して広範な実験を行い、その結果、既存の手法と比較して最高の性能を得られる一方で、我々のCRDはGANにおいて最も複雑性の低い値に達することを示した。 例えば、CycleGANのMACを約40倍、パラメータを80倍に減らし、現状の51.92と比較して46.61 FIDを得る。 このプロジェクトのコードはhttps://github.com/thekernelz/crdで入手できる。

関連論文リスト

• CoroNetGAN: Controlled Pruning of GANs via Hypernetworks [5.765950477682605]
  ハイパネットワークによる識別可能なプルーニング法を併用したGAN圧縮のためのCoroNet-GANを提案する。 我々の手法はゼブラ・ト・ホセとサマー・ト・ライトのベースラインを上回り、それぞれ32.3と72.3の最良のFIDスコアを達成した。
  論文  参考訳（メタデータ） (2024-03-13T05:24:28Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Discriminator-Cooperated Feature Map Distillation for GAN Compression [69.86835014810714]
  そこで本研究では,DCDと略される発明的な識別器協調蒸留を,ジェネレータからより優れた特徴マップを精製するために提案する。 我々のDCDは既存のGAN圧縮法と比較して優れた結果を示した。
  論文  参考訳（メタデータ） (2022-12-29T03:50:27Z)
• DETRs with Collaborative Hybrid Assignments Training [11.563949886871713]
  本稿では,新しい協調型ハイブリット・アサイン・トレーニング・スキームである$mathcalC$o-DETRを提案する。 このトレーニングスキームは、エンド・ツー・エンド検出器におけるエンコーダの学習能力を容易に向上させることができる。 提案手法の有効性を評価するため, 広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-11-22T16:19:52Z)
• Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation [74.67594286008317]
  本稿では,大きな教師モデルから,LiDARセマンティックセグメンテーションのためのスリムな学生ネットワークへの知識の抽出の問題に対処する。 本稿では,点レベルとボクセルレベルの両方から隠れた知識を伝達するPVDを提案する。
  論文  参考訳（メタデータ） (2022-06-05T05:28:32Z)
• Deep Structured Instance Graph for Distilling Object Detectors [82.16270736573176]
  本稿では,検出システム内の情報を利用して,検出知識の蒸留を容易にするための簡単な知識構造を提案する。 我々は,1段と2段の両方の検出器上で,多様な学生-教師ペアによるCOCOオブジェクト検出の課題に対して,新しい最先端の成果を達成した。
  論文  参考訳（メタデータ） (2021-09-27T08:26:00Z)
• Distilling Dense Representations for Ranking using Tightly-Coupled Teachers [52.85472936277762]
  我々は最近提案された後期相互作用ColBERTモデルを改善するために知識蒸留を適用した。 ColBERT の表現型 MaxSim 演算子から知識を抽出し、関連度スコアを単純な点積に変換する。 提案手法はクエリ待ち時間を改善し,ColBERTの面倒なストレージ要件を大幅に削減する。
  論文  参考訳（メタデータ） (2020-10-22T02:26:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。