Fugu-MT 論文翻訳(概要): SKDCGN: Source-free Knowledge Distillation of Counterfactual Generative Networks using cGANs

論文の概要: SKDCGN: Source-free Knowledge Distillation of Counterfactual Generative Networks using cGANs

arxiv url: http://arxiv.org/abs/2208.04226v2
Date: Wed, 10 Aug 2022 08:03:00 GMT
ステータス: 処理完了
システム内更新日: 2022-08-11 10:48:16.360859
Title: SKDCGN: Source-free Knowledge Distillation of Counterfactual Generative Networks using cGANs
Title（参考訳）: skdcgn:cgansを用いた相反生成ネットワークのソースフリー知識蒸留
Authors: Sameer Ambekar, Ankit Ankit, Diego van der Mast, Mark Alence, Matteo Tafuro, Christos Athanasiadis
Abstract要約: 我々は、知識蒸留(KD)を用いた知識伝達を試みるSKDCGNという新しい作品を提案する。本稿では,ImageNetやMNISTといった最先端のデータセットを用いて提案手法の有効性を示す。さらに,本論文ではCGNの構成機構について詳しく検討する。
参考スコア（独自算出の注目度）: 0.7829352305480285
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the usage of appropriate inductive biases, Counterfactual Generative Networks (CGNs) can generate novel images from random combinations of shape, texture, and background manifolds. These images can be utilized to train an invariant classifier, avoiding the wide spread problem of deep architectures learning spurious correlations rather than meaningful ones. As a consequence, out-of-domain robustness is improved. However, the CGN architecture comprises multiple over parameterized networks, namely BigGAN and U2-Net. Training these networks requires appropriate background knowledge and extensive computation. Since one does not always have access to the precise training details, nor do they always possess the necessary knowledge of counterfactuals, our work addresses the following question: Can we use the knowledge embedded in pre-trained CGNs to train a lower-capacity model, assuming black-box access (i.e., only access to the pretrained CGN model) to the components of the architecture? In this direction, we propose a novel work named SKDCGN that attempts knowledge transfer using Knowledge Distillation (KD). In our proposed architecture, each independent mechanism (shape, texture, background) is represented by a student 'TinyGAN' that learns from the pretrained teacher 'BigGAN'. We demonstrate the efficacy of the proposed method using state-of-the-art datasets such as ImageNet, and MNIST by using KD and appropriate loss functions. Moreover, as an additional contribution, our paper conducts a thorough study on the composition mechanism of the CGNs, to gain a better understanding of how each mechanism influences the classification accuracy of an invariant classifier. Code available at: https://github.com/ambekarsameer96/SKDCGN
Abstract（参考訳）: 適切な帰納バイアスを用いることで、CGN(Counterfactual Generative Networks)は、形状、テクスチャ、背景多様体のランダムな組み合わせから新しい画像を生成することができる。これらの画像は不変分類器の訓練に利用することができ、意味のあるものよりもスプリアス相関を学ぶディープアーキテクチャの広範な問題を回避することができる。その結果、ドメイン外ロバスト性が向上する。しかし、CGNアーキテクチャは、BigGANとU2-Netという複数のパラメータ化されたネットワークで構成されている。これらのネットワークのトレーニングには、適切なバックグラウンド知識と広範な計算が必要です。事前訓練されたCGNに埋め込まれた知識は、アーキテクチャのコンポーネントへのブラックボックスアクセス(すなわち、事前訓練されたCGNモデルへのアクセスのみ)を前提として、低容量モデルのトレーニングに使用できますか? そこで本研究では,知識蒸留(KD)を用いて知識伝達を試みるSKDCGNという新しい作品を提案する。提案アーキテクチャでは,各独立したメカニズム(形状,テクスチャ,背景)を,事前学習した教師「BigGAN」から学習した学生「TinyGAN」で表現する。 KDと適切な損失関数を用いて、ImageNetやMNISTのような最先端のデータセットを用いて提案手法の有効性を示す。さらに,本論文では,CGNの合成機構に関する詳細な研究を行い,各機構が不変分類器の分類精度にどのように影響するかをよりよく理解する。コード提供: https://github.com/ambekarsameer96/skdcgn

関連論文リスト

Bridged-GNN: Knowledge Bridge Learning for Effective Knowledge Transfer [65.42096702428347]
グラフニューラルネットワーク(GNN)は、隣接するノードから情報を集約する。知識ブリッジ学習(KBL)は、対象ドメインに対する知識強化後部分布を学習する。 Bridged-GNNには、Bridged-Graphを構築するためのAdaptive Knowledge Retrievalモジュールと、Graph Knowledge Transferモジュールが含まれている。
論文参考訳（メタデータ） (2023-08-18T12:14:51Z)
Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文参考訳（メタデータ） (2022-10-14T18:00:07Z)
Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文参考訳（メタデータ） (2022-05-16T06:49:36Z)
Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
論文参考訳（メタデータ） (2022-05-15T21:32:44Z)
Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
論文参考訳（メタデータ） (2022-02-10T21:45:49Z)
Graph-Free Knowledge Distillation for Graph Neural Networks [30.38128029453977]
グラフデータのないグラフニューラルネットワークから知識を蒸留する最初の専用アプローチを提案する。グラフフリーkd (gfkd) は知識伝達のためのグラフトポロジ構造を多項分布でモデル化することで学習する。グラフデータやGNNにおける様々な種類の事前知識を扱うための戦略を提供する。
論文参考訳（メタデータ） (2021-05-16T21:38:24Z)
Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文参考訳（メタデータ） (2021-03-31T11:47:47Z)
Learning Intents behind Interactions with Knowledge Graph for Recommendation [93.08709357435991]
知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
論文参考訳（メタデータ） (2021-02-14T03:21:36Z)
Learning Structured Embeddings of Knowledge Graphs with Adversarial Learning Framework [12.284731425813343]
本稿では,知識グラフの実体と関係を連続ベクトル空間に埋め込む学習手法を提案する。実験により,従来の関係学習モデルにおいて,リンク予測と三重分類の両方において有意な差が生じることを示した。
論文参考訳（メタデータ） (2020-04-15T18:01:36Z)
Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
論文参考訳（メタデータ） (2020-03-23T18:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。