論文の概要: Measuring and Mitigating Local Instability in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2305.10625v2
• Date: Fri, 19 May 2023 01:45:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 10:39:48.484088
• Title: Measuring and Mitigating Local Instability in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける局所不安定の測定と緩和
• Authors: Arghya Datta, Subhrangshu Nandi, Jingcheng Xu, Greg Ver Steeg, He Xie, Anoop Kumar, Aram Galstyan
• Abstract要約: モデルが同じデータ上で再トレーニングされた場合でも,トレーニングプロセスにおける原理性の結果,モデルがどう変化するかを検討する。 自然言語理解(NLU)タスクでは,クエリのかなりの部分の予測が不安定であることがわかった。 局所的な安定性を推定する新たなデータ中心手法を提案する。
• 参考スコア（独自算出の注目度）: 23.342675028217762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) are becoming integral components of real world services relied upon by millions of users. Unfortunately, architects of these systems can find it difficult to ensure reliable performance as irrelevant details like random initialization can unexpectedly change the outputs of a trained system with potentially disastrous consequences. We formulate the model stability problem by studying how the predictions of a model change, even when it is retrained on the same data, as a consequence of stochasticity in the training process. For Natural Language Understanding (NLU) tasks, we find instability in predictions for a significant fraction of queries. We formulate principled metrics, like per-sample ``label entropy'' across training runs or within a single training run, to quantify this phenomenon. Intriguingly, we find that unstable predictions do not appear at random, but rather appear to be clustered in data-specific ways. We study data-agnostic regularization methods to improve stability and propose new data-centric methods that exploit our local stability estimates. We find that our localized data-specific mitigation strategy dramatically outperforms data-agnostic methods, and comes within 90% of the gold standard, achieved by ensembling, at a fraction of the computational cost
• Abstract（参考訳）: Deep Neural Networks(DNN)は、数百万のユーザが依存する現実世界のサービスの不可欠なコンポーネントになりつつある。 残念なことに、これらのシステムのアーキテクトは、ランダム初期化のような無関係な詳細が予期せぬほどトレーニングされたシステムのアウトプットを変え、潜在的に悲惨な結果をもたらす可能性があるため、信頼性の高いパフォーマンスを保証することが困難である。 トレーニング過程における確率性の結果,モデルが同一データ上で再トレーニングされた場合でも,モデルの予測がどのように変化するかを調べることで,モデル安定性の問題を定式化する。 自然言語理解(NLU)タスクでは,クエリのかなりの部分の予測が不安定であることがわかった。 この現象を定量化するために、トレーニング実行中やトレーニング実行中の各サンプル毎の ‘label entropy'' のような原則付きメトリクスを定式化します。 興味深いことに、不安定な予測はランダムに現れず、むしろデータ固有の方法でクラスタ化されているように見える。 安定性を向上させるためにデータ非依存正規化法を研究し,局所安定性推定を活用できる新しいデータ中心法を提案する。 我々の局所化されたデータ固有の緩和戦略は、データ非依存の手法を劇的に上回っており、計算コストのごく一部で、センシングによって達成されたゴールド標準の90%以下である。

関連論文リスト

• Uncertainty Calibration with Energy Based Instance-wise Scaling in the Wild Dataset [23.155946032377052]
  エネルギーモデルに基づく新しいインスタンスワイドキャリブレーション手法を提案する。 本手法は,ソフトマックス信頼性スコアの代わりにエネルギースコアを組み込むことにより,不確実性を考慮した適応的な検討を可能にする。 実験では,提案手法はスペクトル間のロバストな性能を一貫して維持することを示した。
  論文  参考訳（メタデータ） (2024-07-17T06:14:55Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Resilient Neural Forecasting Systems [10.709321760368137]
  産業用機械学習システムは、学術文献でしばしば過小評価されるデータ課題に直面している。 本稿では、労働計画におけるニューラル予測アプリケーションのコンテキストにおけるデータ課題と解決策について論じる。 本稿では,周期的リトレーニング方式によるデータ分布の変化に対処し,この設定におけるモデル安定性の重要性について論じる。
  論文  参考訳（メタデータ） (2022-03-16T09:37:49Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。