論文の概要: On Predicting Generalization using GANs

• arxiv url: http://arxiv.org/abs/2111.14212v1
• Date: Sun, 28 Nov 2021 19:03:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 07:47:23.834188
• Title: On Predicting Generalization using GANs
• Title（参考訳）: GANを用いた一般化予測について
• Authors: Yi Zhang, Arushi Gupta, Nikunj Saunshi, Sanjeev Arora
• Abstract要約: ディープネットワークの一般化境界の研究は、トレーニングデータセットとネットワークパラメータだけでテストエラーを予測する方法を提供する。 本稿では,GAN(Generative Adversarial Network)を用いて生成した'synthetic data'を用いて,テストエラーを予測できるという考えを考察する。 GANにはよく知られた制限(例えばモード崩壊)があり、データの分布を正確に学ばないことが知られている。
• 参考スコア（独自算出の注目度）: 34.13321525940004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research on generalization bounds for deep networks seeks to give ways to predict test error using just the training dataset and the network parameters. While generalization bounds can give many insights about architecture design, training algorithms etc., what they do not currently do is yield good predictions for actual test error. A recently introduced Predicting Generalization in Deep Learning competition aims to encourage discovery of methods to better predict test error. The current paper investigates a simple idea: can test error be predicted using 'synthetic data' produced using a Generative Adversarial Network (GAN) that was trained on the same training dataset? Upon investigating several GAN models and architectures, we find that this turns out to be the case. In fact, using GANs pre-trained on standard datasets, the test error can be predicted without requiring any additional hyper-parameter tuning. This result is surprising because GANs have well-known limitations (e.g. mode collapse) and are known to not learn the data distribution accurately. Yet the generated samples are good enough to substitute for test data. Several additional experiments are presented to explore reasons why GANs do well at this task. In addition to a new approach for predicting generalization, the counter-intuitive phenomena presented in our work may also call for a better understanding of GANs' strengths and limitations.
• Abstract（参考訳）: ディープネットワークの一般化境界の研究は、トレーニングデータセットとネットワークパラメータだけでテストエラーを予測する方法を提供する。 一般化バウンダリは、アーキテクチャ設計やトレーニングアルゴリズムなどに関する多くの洞察を与えることができるが、それらが現在行っていないことは、実際のテストエラーに対する優れた予測である。 ディープラーニングにおける予測一般化(Predicting Generalization in Deep Learning)コンペティションは、テストエラーを予測する方法の発見を促進することを目的としている。 同じトレーニングデータセットでトレーニングされたgan(generative adversarial network)を使用して生成された'合成データ'を使って、テストエラーを予測できるのか? いくつかのganモデルとアーキテクチャを調査した結果、これが正しいことがわかった。 実際、標準データセットで事前トレーニングされたGANを使うことで、追加のハイパーパラメータチューニングを必要とせずにテストエラーを予測することができる。 この結果は、GANがよく知られた制限(例えばモード崩壊)を持ち、データの分布を正確に学ばないことで驚く。 しかし、生成されたサンプルはテストデータの代わりに十分です。 いくつかの実験で、GANがこのタスクでうまく機能する理由を探求している。 一般化を予測するための新しいアプローチに加えて、我々の研究で示された反直観的な現象は、GANの強みや限界をよりよく理解することにつながるかもしれない。

関連論文リスト

• Generalized Regression with Conditional GANs [2.4171019220503402]
  本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。 回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-21T01:27:47Z)
• Inferring Data Preconditions from Deep Learning Models for Trustworthy Prediction in Deployment [25.527665632625627]
  デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。 従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。 本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T03:47:18Z)
• Bounding generalization error with input compression: An empirical study with infinite-width networks [16.17600110257266]
  Deep Neural Networks(DNN)のGE(Generalization Error)を推定することは、しばしばホールドアウトデータの可用性に依存する重要なタスクである。 GEに関連する量の探索において,入力層と最終層との相互情報(MI)について検討する。 MIとGEをリンクするために、既存の入力圧縮ベースのGEバウンドが使用される。
  論文  参考訳（メタデータ） (2022-07-19T17:05:02Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。