論文の概要: Information-Theoretic GAN Compression with Variational Energy-based Model

• arxiv url: http://arxiv.org/abs/2303.16050v1
• Date: Tue, 28 Mar 2023 15:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 14:39:40.148427
• Title: Information-Theoretic GAN Compression with Variational Energy-based Model
• Title（参考訳）: 変動エネルギーモデルを用いた情報理論GAN圧縮
• Authors: Minsoo Kang, Hyewon Yoo, Eunhee Kang, Sehwan Ki, Hyong-Euk Lee, Bohyung Han
• Abstract要約: 本稿では,情報理論に基づく知識蒸留手法を提案する。 提案アルゴリズムは,生成逆数ネットワークのモデル圧縮において,一貫した性能を実現する。
• 参考スコア（独自算出の注目度）: 36.77535324130402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an information-theoretic knowledge distillation approach for the compression of generative adversarial networks, which aims to maximize the mutual information between teacher and student networks via a variational optimization based on an energy-based model. Because the direct computation of the mutual information in continuous domains is intractable, our approach alternatively optimizes the student network by maximizing the variational lower bound of the mutual information. To achieve a tight lower bound, we introduce an energy-based model relying on a deep neural network to represent a flexible variational distribution that deals with high-dimensional images and consider spatial dependencies between pixels, effectively. Since the proposed method is a generic optimization algorithm, it can be conveniently incorporated into arbitrary generative adversarial networks and even dense prediction networks, e.g., image enhancement models. We demonstrate that the proposed algorithm achieves outstanding performance in model compression of generative adversarial networks consistently when combined with several existing models.
• Abstract（参考訳）: 本稿では,教師と学生のネットワーク間の相互情報をエネルギーモデルに基づく変分最適化により最大化することを目的とした,生成的敵ネットワークの圧縮のための情報理論的知識蒸留手法を提案する。 連続領域における相互情報の直接計算は難易度が高いため、我々の手法は、相互情報の変動下界を最大化することにより、学生ネットワークを最適化する。 そこで我々は,高次元画像を扱うフレキシブルな変動分布を表現し,画素間の空間的依存関係を効果的に考慮する,深層ニューラルネットワークを利用したエネルギーベースモデルを提案する。 提案手法は汎用最適化アルゴリズムであるため,任意の生成型逆ネットワークや,画像強調モデルなどの高密度予測ネットワークに便利に組み込むことができる。 提案アルゴリズムは,複数の既存モデルと組み合わせることで,生成逆数ネットワークのモデル圧縮において優れた性能を発揮することを示す。

関連論文リスト

• DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
  拡散生成モデルはより広い範囲の解を考えることができ、学習パラメータによるより強力な一般化を示す。 拡散生成モデルの本質的な分布学習を利用して高品質な解を学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T07:56:21Z)
• Learning the mechanisms of network growth [42.1340910148224]
  動的ネットワークのための新しいモデル選択法を提案する。 データは9つの最先端のランダムグラフモデルをシミュレートすることによって生成される。 提案された機能は、計算しやすく、分析的に抽出可能で、解釈可能である。
  論文  参考訳（メタデータ） (2024-03-31T20:38:59Z)
• Generative Neural Fields by Mixtures of Neural Implicit Functions [43.27461391283186]
  本稿では,暗黙的ベースネットワークの線形結合によって表現される生成的ニューラルネットワークを学習するための新しいアプローチを提案する。 提案アルゴリズムは,メタラーニングや自動デコーディングのパラダイムを採用することにより,暗黙のニューラルネットワーク表現とその係数を潜在空間で学習する。
  論文  参考訳（メタデータ） (2023-10-30T11:41:41Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Provably Efficient Reinforcement Learning for Online Adaptive Influence Maximization [53.11458949694947]
  本稿では,リアルタイムフィードバックに基づいてシードノードを逐次活性化する,コンテンツ依存型オンライン影響問題の適応バージョンについて検討する。 提案アルゴリズムは,最適政策を楽観的に改善しつつ,ネットワークモデルの推定を保守し,適応的にシードを選択する。
  論文  参考訳（メタデータ） (2022-06-29T18:17:28Z)
• Graph-based Algorithm Unfolding for Energy-aware Power Allocation in Wireless Networks [27.600081147252155]
  我々は,無線通信網におけるエネルギー効率を最大化する新しいグラフ要約フレームワークを開発した。 無線ネットワークデータのモデルに望ましい特性である置換訓練について述べる。 結果は、異なるネットワークトポロジにまたがる一般化可能性を示している。
  論文  参考訳（メタデータ） (2022-01-27T20:23:24Z)
• Deep Variational Models for Collaborative Filtering-based Recommender Systems [63.995130144110156]
  ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。 提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。 提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2021-07-27T08:59:39Z)
• Prediction-Centric Learning of Independent Cascade Dynamics from Partial Observations [13.680949377743392]
  本稿では,このモデルから生成された予測が正確であるような拡散モデルの学習の問題に対処する。 本稿では,スケーラブルな動的メッセージパッシング手法に基づく計算効率のよいアルゴリズムを提案する。 学習モデルからの抽出可能な推論は,元のモデルと比較して限界確率の予測精度がよいことを示す。
  論文  参考訳（メタデータ） (2020-07-13T17:58:21Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。