論文の概要: Synthesizing Irreproducibility in Deep Networks
- arxiv url: http://arxiv.org/abs/2102.10696v1
- Date: Sun, 21 Feb 2021 21:51:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-23 14:51:35.442597
- Title: Synthesizing Irreproducibility in Deep Networks
- Title(参考訳): 深層ネットワークにおける合成再現性
- Authors: Robert R. Snapp and Gil I. Shamir
- Abstract要約: 現代のディープネットワークは非生産性に苦しむ(非決定性または不特定化とも呼ばれる)
単一の非線形性や非常に単純なデータやモデルであっても、不再現性が生じることを示す。
モデルの複雑さと非線形性の選択は、深いモデルを再現不能にする上で重要な役割を果たす。
- 参考スコア(独自算出の注目度): 2.28438857884398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success and superior performance of deep networks is spreading their
popularity and use to an increasing number of applications. Very recent works,
however, demonstrate that modern day deep networks suffer from
irreproducibility (also referred to as nondeterminism or underspecification).
Two or more models that are identical in architecture, structure, training
hyper-parameters, and parameters, and that are trained on exactly the same
training data, yield different predictions on individual previously unseen
examples. Thus, a model that performs well on controlled test data, may perform
in unexpected ways when deployed in the real world, whose data is expected to
be similar to the test data. We study simple synthetic models and data to
understand the origins of these problems. We show that even with a single
nonlinearity and for very simple data and models, irreproducibility occurs. Our
study demonstrates the effects of randomness in initialization, training data
shuffling window size, and activation functions on prediction
irreproducibility, even under very controlled synthetic data. While, as one
would expect, randomness in initialization and in shuffling the training
examples exacerbates the phenomenon, we show that model complexity and the
choice of nonlinearity also play significant roles in making deep models
irreproducible.
- Abstract(参考訳): ディープネットワークの成功と優れたパフォーマンスは、その人気と使用をますます多くのアプリケーションに広めています。
しかし、最近の研究では、現代のディープネットワークが再現性(非決定性または非特異性とも呼ばれる)に苦しんでいることが示されている。
アーキテクチャ、構造、トレーニングハイパーパラメータ、パラメータで同じで、まったく同じトレーニングデータでトレーニングされている2つ以上のモデルでは、これまで見つからなかった個々の例で異なる予測が得られます。
したがって、制御されたテストデータに対してうまく機能するモデルは、テストデータと似たデータが期待される現実世界にデプロイされた場合、予期せぬ方法で実行される可能性がある。
これらの問題の起源を理解するために、単純な合成モデルとデータを研究します。
単一の非線形性や非常に単純なデータやモデルであっても、不再現性が生じることを示す。
本研究は,初期化におけるランダム性,データシャッフルウィンドウサイズ,アクティベーション関数が,非常に制御された合成データにおいても予測不能な予測に与える影響を示す。
予測されるように、初期化におけるランダム性や訓練例のシャッフルは、この現象を悪化させるが、モデル複雑性と非線形性の選択は、深層モデルを作る際にも重要な役割を果たす。
関連論文リスト
- Towards Theoretical Understandings of Self-Consuming Generative Models [60.98692028151328]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
我々は拡散モデルに一般結果を特化し、自己消費ループ内での最適な早期停止の有効性などの微妙な洞察を提供する。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳(メタデータ) (2023-11-02T01:51:43Z) - On the Stability of Iterative Retraining of Generative Models on their
own Data [56.153542044045224]
生成モデルの訓練がデータセット(実データと合成データの混合データ)の安定性に及ぼす影響について検討した。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は,CIFAR10およびFFHQ上の正規化フローと最先端拡散モデルの反復的訓練により,合成画像と自然画像の両方に関する理論を実証的に検証した。
論文 参考訳(メタデータ) (2023-09-30T16:41:04Z) - Learning to Jump: Thinning and Thickening Latent Counts for Generative
Modeling [69.60713300418467]
ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。
ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
論文 参考訳(メタデータ) (2023-05-28T05:38:28Z) - Analyzing Effects of Fake Training Data on the Performance of Deep
Learning Systems [0.0]
ディープラーニングモデルは、クラス不均衡や分散シフトに対する堅牢性の欠如など、さまざまな問題に悩まされることが多い。
GAN(Generative Adversarial Networks)の出現により、高品質な合成データを生成することが可能になった。
本研究では, 各種合成データと原データとを混合した場合, アウト・オブ・ディストリビューションデータに対するモデルの堅牢性と, 予測の一般品質に影響を及ぼす影響を解析する。
論文 参考訳(メタデータ) (2023-03-02T13:53:22Z) - Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。
センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
論文 参考訳(メタデータ) (2022-12-07T15:32:22Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z) - Transfer learning suppresses simulation bias in predictive models built
from sparse, multi-modal data [15.587831925516957]
科学、工学、ビジネスにおける多くの問題は、ごくわずかな観察に基づく予測を必要とする。
堅牢な予測モデルを構築するには、特に設計空間が多次元である場合、これらのスパースデータをシミュレーションデータで拡張する必要がある。
ディープラーニングの最近の開発を組み合わせて、マルチモーダルデータからより堅牢な予測モデルを構築します。
論文 参考訳(メタデータ) (2021-04-19T23:28:32Z) - STAN: Synthetic Network Traffic Generation with Generative Neural Models [10.54843182184416]
本稿では,現実的な合成ネットワークトラフィックデータセットを生成するためのSTAN(Synthetic Network Traffic Generation with Autoregressive Neural Model)を提案する。
私たちの新しいニューラルアーキテクチャは、常に属性間の時間的依存関係と依存の両方をキャプチャします。
我々は、シミュレーションデータセットと実ネットワークトラフィックデータセットの両方で、STANの性能を、データの品質の観点から評価する。
論文 参考訳(メタデータ) (2020-09-27T04:20:02Z) - Forecasting Industrial Aging Processes with Machine Learning Methods [0.0]
我々は、従来のステートレスモデルとより複雑なリカレントニューラルネットワークを比較して、幅広いデータ駆動モデルを評価する。
以上の結果から,リカレントモデルでは,より大きなデータセットでトレーニングした場合,ほぼ完璧な予測が得られた。
論文 参考訳(メタデータ) (2020-02-05T13:06:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。