論文の概要: A spin-glass model for the loss surfaces of generative adversarial networks

• arxiv url: http://arxiv.org/abs/2101.02524v1
• Date: Thu, 7 Jan 2021 12:56:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 14:03:36.485796
• Title: A spin-glass model for the loss surfaces of generative adversarial networks
• Title（参考訳）: 生成逆ネットワークの損失面に対するスピングラスモデル
• Authors: Nicholas P Baskerville and Jonathan P Keating and Francesco Mezzadri and Joseph Najnudel
• Abstract要約: 本研究では,GAN(ジェネレーション・アドバーサリ・ネットワーク)の鍵となる設計特性を捉える新しい数学モデルを提案する。 我々のモデルは相互作用する2つのスピングラスから成り、ランダム行列理論の手法を用いてモデルの臨界点の複雑性を広範囲に理論的に解析する。 その結果、より単純なネットワークに対する事前の洞察に基づいて構築される大きなGANの損失面に関する洞察が、この設定に特有の新しい構造を明らかにします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel mathematical model that seeks to capture the key design feature of generative adversarial networks (GANs). Our model consists of two interacting spin glasses, and we conduct an extensive theoretical analysis of the complexity of the model's critical points using techniques from Random Matrix Theory. The result is insights into the loss surfaces of large GANs that build upon prior insights for simpler networks, but also reveal new structure unique to this setting.
• Abstract（参考訳）: 本稿では,GAN (Generative Adversarial Network) の重要な設計特徴を捉えるための新しい数学的モデルを提案する。 我々のモデルは相互作用する2つのスピングラスから成り、ランダム行列理論の手法を用いてモデルの臨界点の複雑性を広範囲に理論的に解析する。 その結果、より単純なネットワークに対する事前の洞察に基づいて構築される大きなGANの損失面に関する洞察が、この設定に特有の新しい構造を明らかにする。

関連論文リスト

• Uncovering the hidden core-periphery structure in hyperbolic networks [0.0]
  双曲型ネットワークモデルは、小さな世界性、スケール自由性、高いクラスタリング係数、コミュニティ構造など、基本的で不可欠な特徴を示す。 本稿では,双曲型ネットワークモデルにおける重要な特徴であるコア周辺構造の存在について検討する。
  論文  参考訳（メタデータ） (2024-06-28T14:39:21Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• BScNets: Block Simplicial Complex Neural Networks [79.81654213581977]
  グラフ学習における最新の方向性として、SNN(Simplicial Neural Network)が最近登場した。 リンク予測のためのBlock Simplicial Complex Neural Networks (BScNets) モデルを提案する。 BScNetsは、コストを抑えながら最先端のモデルよりも大きなマージンを保っている。
  論文  参考訳（メタデータ） (2021-12-13T17:35:54Z)
• Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
  パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。 経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
  論文  参考訳（メタデータ） (2021-08-15T10:13:49Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Applicability of Random Matrix Theory in Deep Learning [0.966840768820136]
  本研究では,ニューラルネットワークの損失面ヘッシアンの局所スペクトル統計について検討する。 ニューラルネットワークのモデリングにおけるランダム行列理論の適用性に新たな光を当てた。 本稿では,ニューラルネットワークの真の損失面に対する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-02-12T19:49:19Z)
• The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models [0.0]
  本稿では,分類タスクに対するPiecewise Linear Neural Networksの単純化と解釈性向上のための新しい手法を提案する。 我々の手法には、トレーニングを伴わずに、訓練された深層ネットワークを使用して、良好なパフォーマンスと単一隠れ層ネットワークを生成する方法が含まれる。 これらの手法を用いて,モデル性能の予備的研究およびウェルズ・ファーゴのホームレンディングデータセットのケーススタディを行う。
  論文  参考訳（メタデータ） (2020-12-02T16:02:14Z)
• The Loss Surfaces of Neural Networks with General Activation Functions [0.0]
  我々は、ランダム行列理論の超対称手法を用いてスピングラスの複雑性計算を通して新しい経路をグラフ化する。 我々の結果は、この文脈におけるスピンガラスモデルの強度と弱さの両方に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-04-08T12:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。