論文の概要: Fast-Rate Loss Bounds via Conditional Information Measures with Applications to Neural Networks

• arxiv url: http://arxiv.org/abs/2010.11552v3
• Date: Wed, 10 Mar 2021 10:23:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 06:04:28.965788
• Title: Fast-Rate Loss Bounds via Conditional Information Measures with Applications to Neural Networks
• Title（参考訳）: 条件付情報計測による高速損失限度とニューラルネットワークへの応用
• Authors: Fredrik Hellstr\"om and Giuseppe Durisi
• Abstract要約: 有界損失関数の場合のランダム化学習アルゴリズムのテスト損失に基づく。 我々は、MNISTとFashion-MNISTでトレーニングされたニューラルネットワークアーキテクチャにより、テスト損失の無作為な推定が達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 14.147617330278662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a framework to derive bounds on the test loss of randomized learning algorithms for the case of bounded loss functions. Drawing from Steinke & Zakynthinou (2020), this framework leads to bounds that depend on the conditional information density between the the output hypothesis and the choice of the training set, given a larger set of data samples from which the training set is formed. Furthermore, the bounds pertain to the average test loss as well as to its tail probability, both for the PAC-Bayesian and the single-draw settings. If the conditional information density is bounded uniformly in the size $n$ of the training set, our bounds decay as $1/n$. This is in contrast with the tail bounds involving conditional information measures available in the literature, which have a less benign $1/\sqrt{n}$ dependence. We demonstrate the usefulness of our tail bounds by showing that they lead to nonvacuous estimates of the test loss achievable with some neural network architectures trained on MNIST and Fashion-MNIST.
• Abstract（参考訳）: 本稿では、有界損失関数の場合のランダム化学習アルゴリズムのテスト損失の境界を導出する枠組みを提案する。 Steinke & Zakynthinou (2020) を参考に、この枠組みは、トレーニングセットが生成されるより大きなデータセットの集合を考えると、出力仮説とトレーニングセットの選択の間の条件情報密度に依存する境界に導かれる。 さらに、バウンダリは平均的なテスト損失と尾の確率に関係しており、PAC-ベイジアンと単線設定の両方に関係している。 条件情報密度がトレーニングセットのサイズ$n$で一様ならば、我々の境界は1/n$として崩壊する。 これは、文献で利用できる条件情報測度を含む尾の境界とは対照的であり、従って1/\sqrt{n}$依存度は低い。 我々は、MNISTとFashion-MNISTでトレーニングされたニューラルネットワークアーキテクチャで達成可能なテスト損失の無作為な見積もりにつながることを示すことで、テールバウンドの有用性を実証する。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Curvature Clues: Decoding Deep Learning Privacy with Input Loss Curvature [6.738409533239947]
  入力に対する損失の曲率(所定入力損失曲率)は、入力に関する損失のヘシアンのトレースである。 我々は,プライバシとトレーニングセットのサイズに基づいて,列車試験の識別可能性の上限を導出する理論的枠組みを開発する。 この洞察は、入力損失曲率を利用した新しいブラックボックスメンバーシップ推論攻撃の開発を促進する。
  論文  参考訳（メタデータ） (2024-07-03T01:47:46Z)
• Sample Complexity of Nonparametric Off-Policy Evaluation on Low-Dimensional Manifolds using Deep Networks [71.95722100511627]
  深層ニューラルネットワークを用いた強化学習における非政治的評価問題について考察する。 ネットワークサイズを適切に選択することにより、マルコフ決定過程において低次元多様体構造を利用することができることを示す。
  論文  参考訳（メタデータ） (2022-06-06T20:25:20Z)
• Optimal Membership Inference Bounds for Adaptive Composition of Sampled Gaussian Mechanisms [93.44378960676897]
  トレーニングされたモデルとデータサンプルが与えられた場合、メンバシップ推論(MI)アタックは、サンプルがモデルのトレーニングセットにあるかどうかを予測する。 MI攻撃に対する一般的な対策は、モデルトレーニング中に差分プライバシー(DP)を利用して個々の事例の存在を隠蔽することである。 本稿では,MI攻撃を装着した相手のテキスト・アドバンテージのバウンダリを導出し,広く利用されているガウス機構の厳密性を示す。
  論文  参考訳（メタデータ） (2022-04-12T22:36:56Z)
• Dense Out-of-Distribution Detection by Robust Learning on Synthetic Negative Data [1.7474352892977458]
  道路走行シーンとリモートセンシング画像における分布外異常の検出方法を示す。 我々は,カバレッジ指向学習の目的と異なる解像度でサンプルを生成する能力により,共同で訓練された正規化フローを活用する。 結果として得られたモデルは、道路走行シーンとリモートセンシング画像におけるアウト・オブ・ディストリビューション検出のためのベンチマークに、新たな技術状況を設定した。
  論文  参考訳（メタデータ） (2021-12-23T20:35:10Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Estimation and Applications of Quantiles in Deep Binary Classification [0.0]
  チェック損失に基づく量子回帰は統計学において広く使われている推論パラダイムである。 二項分類設定におけるチェック損失の類似について考察する。 我々は、予測が信頼できるかどうかを判断するために使用できる個別信頼度スコアを開発する。
  論文  参考訳（メタデータ） (2021-02-09T07:07:42Z)
• Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
  トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-12-24T07:37:19Z)
• Generalization Bounds via Information Density and Conditional Information Density [14.147617330278662]
  本稿では,指数関数的不等式に基づいてランダム化学習アルゴリズムの一般化誤差を導出する一般手法を提案する。 PAC-Bayesian と Single-draw の両方のシナリオに対して、平均一般化誤差のバウンダリと、そのテール確率のバウンダリを提供する。
  論文  参考訳（メタデータ） (2020-05-16T17:04:24Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。