論文の概要: Risk-Monotonicity in Statistical Learning

• arxiv url: http://arxiv.org/abs/2011.14126v5
• Date: Sat, 15 Jan 2022 18:29:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 19:20:23.907076
• Title: Risk-Monotonicity in Statistical Learning
• Title（参考訳）: 統計的学習におけるリスクモノモニティ
• Authors: Zakaria Mhammedi
• Abstract要約: トレーニングにおけるリスクと不安定性の非単調な振る舞いが現れ、人気のあるディープラーニングパラダイムに現れている。 我々は、弱い仮定の下での一般統計学習のための最初の一貫した(高い確率で)リスク単調なアルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 8.461907111368628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Acquisition of data is a difficult task in many applications of machine learning, and it is only natural that one hopes and expects the population risk to decrease (better performance) monotonically with increasing data points. It turns out, somewhat surprisingly, that this is not the case even for the most standard algorithms that minimize the empirical risk. Non-monotonic behavior of the risk and instability in training have manifested and appeared in the popular deep learning paradigm under the description of double descent. These problems highlight the current lack of understanding of learning algorithms and generalization. It is, therefore, crucial to pursue this concern and provide a characterization of such behavior. In this paper, we derive the first consistent and risk-monotonic (in high probability) algorithms for a general statistical learning setting under weak assumptions, consequently answering some questions posed by Viering et al. 2019 on how to avoid non-monotonic behavior of risk curves. We further show that risk monotonicity need not necessarily come at the price of worse excess risk rates. To achieve this, we derive new empirical Bernstein-like concentration inequalities of independent interest that hold for certain non-i.i.d.~processes such as Martingale Difference Sequences.
• Abstract（参考訳）: データの獲得は機械学習の多くの応用において難しい課題であり、データポイントの増加とともに人口リスクが単調に減少(パフォーマンス向上)することを望んでいるのは当然である。 意外なことに、これは経験的リスクを最小限に抑える最も標準的なアルゴリズムでさえ、そうではない。 トレーニングにおけるリスクと不安定性の非単調な振る舞いは、二重降下の記述の下で人気のある深層学習パラダイムに現れている。 これらの問題は、現在の学習アルゴリズムの理解と一般化の欠如を浮き彫りにしている。 したがって、この懸念を追求し、そのような行動を特徴付けることが不可欠である。 本稿では,弱仮定下での一般統計学習における最初の一貫性とリスクモノトニック(高確率)アルゴリズムを導出し,その結果,リスク曲線の非モノトニックな振る舞いを回避する方法について,viering et al. 2019 が提起したいくつかの疑問に答える。 さらに, リスク単調性は, 必ずしも過大なリスク率を犠牲にしてはならないことを示した。 これを達成するために、martingale差分列のような特定の非i.i.d.過程に対する独立関心の、バーンスタインのような新しい経験的濃度不等式を導出する。

関連論文リスト

• Generalization Error of the Tilted Empirical Risk [17.48212403081267]
  教師付き統計学習アルゴリズムの一般化誤差(リスク)は、これまで見られなかったデータに対する予測能力を定量化する。 指数傾斜にインスパイアされたLi et al. (2021) は、機械学習アプリケーションのための非線形リスク指標として傾いた経験的リスクを提案した。
  論文  参考訳（メタデータ） (2024-09-28T18:31:51Z)
• Catastrophic-risk-aware reinforcement learning with extreme-value-theory-based policy gradients [0.0]
  本稿では, 逐次意思決定プロセスにおける破滅的リスク軽減の問題に取り組む。 POTPGと呼ばれるポリシー勾配アルゴリズムが開発されている。 金融リスク管理への応用について紹介する。
  論文  参考訳（メタデータ） (2024-06-21T19:27:46Z)
• Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
  ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。 ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
  論文  参考訳（メタデータ） (2023-08-01T02:07:47Z)
• A Generalized Unbiased Risk Estimator for Learning with Augmented Classes [70.20752731393938]
  ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。 理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
  論文  参考訳（メタデータ） (2023-06-12T06:52:04Z)
• On the Stability and Generalization of Triplet Learning [55.75784102837832]
  トリプルトラーニング(トリプルトラーニング)、すなわちトリプルトデータから学ぶことは、コンピュータビジョンタスクに大きな注目を集めている。 本稿では,安定解析を利用した三重項学習の一般化保証について検討する。
  論文  参考訳（メタデータ） (2023-02-20T07:32:50Z)
• Optimizing the Performative Risk under Weak Convexity Assumptions [0.0]
  性能予測において、予測モデルは将来のデータを生成する分布に影響を与える。 これまでの研究では、損失に関する一般的な条件とモデルパラメータから分布へのマッピングが特定されており、凸性はパフォーマンスリスクを意味する。 本稿では,反復最適化法における性能最小化リスク問題の回避性を犠牲にすることなく,これらの仮定を緩和する。
  論文  参考訳（メタデータ） (2022-09-02T01:07:09Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Information-Theoretic Analysis of Minimax Excess Risk [17.432949071027313]
  機械学習理論で研究される2つの主要な概念は、一般化ギャップと過剰リスクである。 ベイズ学習における最小超過リスクに関する最近の情報理論の結果は、最小極超過リスクに限界を与えることができる。
  論文  参考訳（メタデータ） (2022-02-15T16:13:40Z)
• Generalisation and the Risk--Entropy Curve [0.49723239539321284]
  学習機械の予測一般化性能は、リスクの分布やそれに相当するエントロピーによって決定されることを示す。 結果はMarkov Chain Monte Carlo技術を用いて、さまざまなディープニューラルネットワークモデルに対して提示される。
  論文  参考訳（メタデータ） (2022-02-15T12:19:10Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。