論文の概要: Robust Nonparametric Hypothesis Testing to Understand Variability in
Training Neural Networks
- arxiv url: http://arxiv.org/abs/2310.00541v1
- Date: Sun, 1 Oct 2023 01:44:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 03:39:06.894582
- Title: Robust Nonparametric Hypothesis Testing to Understand Variability in
Training Neural Networks
- Title(参考訳): ニューラルネットワーク学習における可変性に対するロバスト非パラメトリック仮説の検証
- Authors: Sinjini Banerjee, Reilly Cannon, Tim Marrinan, Tony Chiang, Anand D.
Sarwate
- Abstract要約: 本稿では,閾値決定前のネットワークの出力に基づく分類モデル間の密接度の新しい尺度を提案する。
我々の測度は、頑健な仮説テストフレームワークに基づいており、訓練されたモデルから派生した他の量に適応することができる。
- 参考スコア(独自算出の注目度): 5.8490454659691355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training a deep neural network (DNN) often involves stochastic optimization,
which means each run will produce a different model. Several works suggest this
variability is negligible when models have the same performance, which in the
case of classification is test accuracy. However, models with similar test
accuracy may not be computing the same function. We propose a new measure of
closeness between classification models based on the output of the network
before thresholding. Our measure is based on a robust hypothesis-testing
framework and can be adapted to other quantities derived from trained models.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)のトレーニングには、確率的最適化が伴うことが多い。
いくつかの研究は、モデルが同じ性能を持つ場合、この変動性は無視できることを示唆している。
しかし、同様のテスト精度のモデルは、同じ関数を計算していないかもしれない。
本稿では,しきい値化前のネットワーク出力に基づく分類モデル間の密接性の新しい尺度を提案する。
我々の測度は頑健な仮説テストフレームワークに基づいており、訓練されたモデルから得られる他の量に適応することができる。
関連論文リスト
- Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳(メタデータ) (2024-10-28T13:48:43Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - Demystifying Randomly Initialized Networks for Evaluating Generative
Models [28.8899914083501]
生成モデルの評価は、主に、ある特徴空間における推定分布と基底真理分布の比較に基づいて行われる。
サンプルを情報的特徴に組み込むために、以前の研究では、分類に最適化された畳み込みニューラルネットワークを使用していた。
本稿では,ランダムな重み付きモデルの特徴空間を,訓練されたモデルと比較して厳密に検討する。
論文 参考訳(メタデータ) (2022-08-19T08:43:53Z) - How to Combine Variational Bayesian Networks in Federated Learning [0.0]
フェデレートラーニングにより、複数のデータセンターが機密データを公開することなく、協力的に中央モデルをトレーニングできる。
決定論的モデルは高い予測精度を達成することができ、キャリブレーションの欠如と不確実性を定量化する能力は、安全クリティカルなアプリケーションには問題となる。
変分ベイズニューラルネットワークに対する様々なアグリゲーションスキームの効果について検討する。
論文 参考訳(メタデータ) (2022-06-22T07:53:12Z) - On the Prediction Instability of Graph Neural Networks [2.3605348648054463]
トレーニングされたモデルの不安定性は、マシンラーニングシステムの信頼性、信頼性、信頼性に影響を与える可能性がある。
最新のグラフニューラルネットワーク(GNN)によるノード分類の不安定性の予測を系統的に評価する。
不正に分類されたノードの最大3分の1は、アルゴリズムの実行によって異なることがわかった。
論文 参考訳(メタデータ) (2022-05-20T10:32:59Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳(メタデータ) (2022-02-08T02:59:12Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳(メタデータ) (2021-10-18T17:55:11Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳(メタデータ) (2021-09-27T01:09:08Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳(メタデータ) (2020-12-17T15:19:29Z) - Incremental Unsupervised Domain-Adversarial Training of Neural Networks [17.91571291302582]
教師付き統計学習の文脈では通常、トレーニングセットはテストサンプルを描画する同じ分布から来ていると仮定される。
ここでは、モデルが新しいドメインに反復的に適応される段階的な視点から、別の道を選び、問題にアプローチします。
その結果,いくつかのデータセットにおける非増加事例に対する明らかな改善が報告され,他の最先端のドメイン適応アルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-01-13T09:54:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。