論文の概要: Information-Theoretic Analysis of Minimax Excess Risk

• arxiv url: http://arxiv.org/abs/2202.07537v1
• Date: Tue, 15 Feb 2022 16:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 19:37:23.076222
• Title: Information-Theoretic Analysis of Minimax Excess Risk
• Title（参考訳）: ミニマックス超過リスクの情報理論解析
• Authors: Hassan Hafez-Kolahi, Behrad Moniri, Shohreh Kasaei
• Abstract要約: 機械学習理論で研究される2つの主要な概念は、一般化ギャップと過剰リスクである。 ベイズ学習における最小超過リスクに関する最近の情報理論の結果は、最小極超過リスクに限界を与えることができる。
• 参考スコア（独自算出の注目度）: 17.432949071027313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two main concepts studied in machine learning theory are generalization gap (difference between train and test error) and excess risk (difference between test error and the minimum possible error). While information-theoretic tools have been used extensively to study the generalization gap of learning algorithms, the information-theoretic nature of excess risk has not yet been fully investigated. In this paper, some steps are taken toward this goal. We consider the frequentist problem of minimax excess risk as a zero-sum game between algorithm designer and the world. Then, we argue that it is desirable to modify this game in a way that the order of play can be swapped. We prove that, under some regularity conditions, if the world and designer can play randomly the duality gap is zero and the order of play can be changed. In this case, a Bayesian problem surfaces in the dual representation. This makes it possible to utilize recent information-theoretic results on minimum excess risk in Bayesian learning to provide bounds on the minimax excess risk. We demonstrate the applicability of the results by providing information theoretic insight on two important classes of problems: classification when the hypothesis space has finite VC-dimension, and regularized least squares.
• Abstract（参考訳）: 機械学習理論で研究されている2つの主要な概念は、一般化ギャップ(列車とテストエラーの差)と過剰リスク(テストエラーと最小可能なエラーの差)である。 学習アルゴリズムの一般化ギャップを研究するために情報理論ツールが広く用いられているが、過剰リスクの情報理論の性質はまだ十分に研究されていない。 本稿では,この目標に向けていくつかのステップについて述べる。 アルゴリズム設計者と世界とのゼロサムゲームとしてミニマックス超過リスクの頻繁な問題を考える。 そこで我々は,遊びの順序を交換できるように,このゲームを変更することが望ましいと論じる。 いくつかの正規性条件の下で、世界とデザイナーがランダムに遊ぶことができるならば、双対性ギャップはゼロであり、遊びの順序を変えることができる。 この場合、ベイズ問題(英語版)は双対表現で表される。 これにより、ベイズ学習の最小過剰リスクに対する最近の情報理論結果を利用して、ミニマックス超過リスクの限界を与えることができる。 仮説空間が有限なvc次元を持つ場合の分類と正規化最小二乗という2つの重要な問題についての情報理論的な洞察を提供することにより,結果の適用性を示す。

関連論文リスト

• Near-Optimal Solutions of Constrained Learning Problems [85.48853063302764]
  機械学習システムでは、振る舞いを縮小する必要性がますます顕在化している。 これは、双対ロバスト性変数を満たすモデルの開発に向けた最近の進歩によって証明されている。 この結果から, 豊富なパラメトリゼーションは非次元的, 有限な学習問題を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2024-03-18T14:55:45Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Specifying and Solving Robust Empirical Risk Minimization Problems Using CVXPY [39.47096356027248]
  いくつかの単純な場合、そのような問題は解析的な形で表すことができる。 一般に、問題は双対化によって引き出すことができ、min-max問題からmin-min問題へと変換される。 本稿では,CVXPYを用いて,この二元化手順をユーザフレンドリな方法で自動化する方法を実証する。
  論文  参考訳（メタデータ） (2023-06-09T03:35:33Z)
• The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
  ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。 実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。 これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
  論文  参考訳（メタデータ） (2023-04-11T17:22:22Z)
• What is a Good Metric to Study Generalization of Minimax Learners? [24.577243536475233]
  Minimax最適化は多くの機械学習(ML)問題のバックボーンとして機能している。 データでトレーニングされたソリューションがメトリックテストでどのように機能するかは、比較的調査されていない。 本稿では,これらの問題に対処するため,新しい計量一般化ミニマックス学習者を提案する。
  論文  参考訳（メタデータ） (2022-06-09T13:39:06Z)
• Minimax rate of consistency for linear models with missing values [0.0]
  多くの実世界のデータセットでは、複数のソースが集約され、本質的に欠落した情報(センサーの故障、調査における未回答の疑問...)が欠落する。 本稿では,広範に研究された線形モデルに焦点をあてるが,不足する値が存在する場合には,非常に難しい課題であることが判明した。 最終的には、多くの学習タスクを解決し、入力機能の数を指数関数的にすることで、現在の現実世界のデータセットでは予測が不可能になる。
  論文  参考訳（メタデータ） (2022-02-03T08:45:34Z)
• The Geometry of Adversarial Training in Binary Classification [1.2891210250935143]
  我々は,非パラメトリック二分分類における対角的学習問題の族と正規化リスク最小化問題の族との同値性を確立する。 結果として生じる正規化リスク最小化問題は、$L1+$(非局所)$operatornameTV$の正確な凸緩和を許容する。
  論文  参考訳（メタデータ） (2021-11-26T17:19:50Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Risk-Monotonicity in Statistical Learning [8.461907111368628]
  トレーニングにおけるリスクと不安定性の非単調な振る舞いが現れ、人気のあるディープラーニングパラダイムに現れている。 我々は、弱い仮定の下での一般統計学習のための最初の一貫した(高い確率で)リスク単調なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2020-11-28T12:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。