論文の概要: Generalisation and the Risk--Entropy Curve

• arxiv url: http://arxiv.org/abs/2202.07350v1
• Date: Tue, 15 Feb 2022 12:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 22:16:39.655526
• Title: Generalisation and the Risk--Entropy Curve
• Title（参考訳）: 一般化とリスク-エントロピー曲線
• Authors: Dominic Belcher, Antonia Marcu, Adam Pr\"ugel-Bennett
• Abstract要約: 学習機械の予測一般化性能は、リスクの分布やそれに相当するエントロピーによって決定されることを示す。 結果はMarkov Chain Monte Carlo技術を用いて、さまざまなディープニューラルネットワークモデルに対して提示される。
• 参考スコア（独自算出の注目度）: 0.49723239539321284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we show that the expected generalisation performance of a learning machine is determined by the distribution of risks or equivalently its logarithm -- a quantity we term the risk entropy -- and the fluctuations in a quantity we call the training ratio. We show that the risk entropy can be empirically inferred for deep neural network models using Markov Chain Monte Carlo techniques. Results are presented for different deep neural networks on a variety of problems. The asymptotic behaviour of the risk entropy acts in an analogous way to the capacity of the learning machine, but the generalisation performance experienced in practical situations is determined by the behaviour of the risk entropy before the asymptotic regime is reached. This performance is strongly dependent on the distribution of the data (features and targets) and not just on the capacity of the learning machine.
• Abstract（参考訳）: 本稿では,学習機械の予測一般化性能が,リスクの分布,すなわちその対数(リスクエントロピーと呼ぶ量)と,トレーニング比率と呼ぶ量の変動によって決定されることを示す。 マルコフ連鎖モンテカルロ法を用いた深層ニューラルネットワークモデルにおいて,リスクエントロピーは経験的に推定できることを示す。 様々な問題に対する異なるディープニューラルネットワークに対して結果が示される。 リスクエントロピーの漸近挙動は、学習機械の能力と類似して作用するが、現実的な状況で経験した一般化性能は、漸近的体制に達する前のリスクエントロピーの挙動によって決定される。 このパフォーマンスは、学習マシンの能力だけでなく、データ(機能とターゲット)の分散に大きく依存します。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
  ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。 ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
  論文  参考訳（メタデータ） (2023-08-01T02:07:47Z)
• Computing large deviation prefactors of stochastic dynamical systems based on machine learning [4.474127100870242]
  弱い雑音の極限における力学系の希少事象の指数推定を特徴付ける大きな偏差理論を提案する。 我々は、ベクトル場の分解に基づいて、準ポテンシャル、最も確率の高い経路とプレファクタを計算するためのニューラルネットワークフレームワークを設計する。 数値実験は、弱いランダム変動によって引き起こされる稀な事象の内部メカニズムを探索する上で、その強力な機能を示す。
  論文  参考訳（メタデータ） (2023-06-20T09:59:45Z)
• IRL with Partial Observations using the Principle of Uncertain Maximum Entropy [8.296684637620553]
  我々は、不確実な最大エントロピーの原理を導入し、期待最大化に基づく解を示す。 我々は,最大因果エントロピー逆強化学習領域において,ノイズデータに対する頑健性の改善を実験的に実証した。
  論文  参考訳（メタデータ） (2022-08-15T03:22:46Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Structure-Preserving Learning Using Gaussian Processes and Variational Integrators [62.31425348954686]
  本稿では,機械系の古典力学に対する変分積分器と,ガウス過程の回帰による残留力学の学習の組み合わせを提案する。 我々は、既知のキネマティック制約を持つシステムへのアプローチを拡張し、予測の不確実性に関する公式な境界を提供する。
  論文  参考訳（メタデータ） (2021-12-10T11:09:29Z)
• Asymptotic Risk of Overparameterized Likelihood Models: Double Descent Theory for Deep Neural Networks [12.132641563193582]
  深層モデルを含む可視性モデルに対する一般クラスのリスクについて検討する。 並列深層ニューラルネットワークやアンサンブル学習など,いくつかの明示的なモデルが我々の理論と一致していることを示す。
  論文  参考訳（メタデータ） (2021-02-28T13:02:08Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。