論文の概要: Realizable Learning is All You Need

• arxiv url: http://arxiv.org/abs/2111.04746v4
• Date: Sat, 3 Feb 2024 00:55:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 07:41:44.353046
• Title: Realizable Learning is All You Need
• Title（参考訳）: 実現可能な学習は必要なだけ
• Authors: Max Hopkins, Daniel M. Kane, Shachar Lovett, Gaurav Mahajan
• Abstract要約: 実現可能かつ不可知的な学習可能性の同値性は、学習理論における基本的な現象である。 実現可能かつ不可知な学習可能性の同値性を説明する最初のモデルに依存しないフレームワークを提示する。
• 参考スコア（独自算出の注目度）: 21.34668631009594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The equivalence of realizable and agnostic learnability is a fundamental phenomenon in learning theory. With variants ranging from classical settings like PAC learning and regression to recent trends such as adversarially robust learning, it's surprising that we still lack a unified theory; traditional proofs of the equivalence tend to be disparate, and rely on strong model-specific assumptions like uniform convergence and sample compression. In this work, we give the first model-independent framework explaining the equivalence of realizable and agnostic learnability: a three-line blackbox reduction that simplifies, unifies, and extends our understanding across a wide variety of settings. This includes models with no known characterization of learnability such as learning with arbitrary distributional assumptions and more general loss functions, as well as a host of other popular settings such as robust learning, partial learning, fair learning, and the statistical query model. More generally, we argue that the equivalence of realizable and agnostic learning is actually a special case of a broader phenomenon we call property generalization: any desirable property of a learning algorithm (e.g. noise tolerance, privacy, stability) that can be satisfied over finite hypothesis classes extends (possibly in some variation) to any learnable hypothesis class.
• Abstract（参考訳）: 実現可能かつ不可知的な学習可能性の同値性は、学習理論における基本的な現象である。 PAC学習や回帰のような古典的な設定から、逆向きに堅牢な学習のような最近のトレンドまで、我々がまだ統一された理論を欠いていることは驚きである。 本研究では,実現可能かつ不可知的な学習可能性の等価性を説明する最初のモデルに依存しないフレームワークについて述べる。 これには、任意の分布仮定による学習や、より一般的な損失関数などの学習可能性の特徴が知られていないモデルや、ロバストな学習、部分的な学習、公正な学習、統計的クエリモデルなどの一般的な設定が含まれる。 より一般に、実現可能で無依存な学習の等価性は、我々が特性一般化と呼ぶより広い現象の特別な場合であると主張する: 有限の仮説クラス上で満たされる学習アルゴリズム(例えば、ノイズ許容性、プライバシー、安定性)の望ましい性質は、(おそらくあるバリエーションにおいて)任意の学習可能な仮説クラスに拡張される。

関連論文リスト

• Credal Learning Theory [4.64390130376307]
  我々は,データ生成分布の変動をモデル化するために,凸集合の確率を用いて,不規則な学習理論の基礎を定めている。 境界は有限仮説空間や古典的な結果を直接一般化する無限モデル空間の場合に導かれる。
  論文  参考訳（メタデータ） (2024-02-01T19:25:58Z)
• On Continuity of Robust and Accurate Classifiers [3.8673630752805437]
  敵の訓練が仮説の堅牢性を向上させることが示されている。 仮説の頑健性と正確性は互いに相反していることが示唆されている。 本稿では,その頑健さと精度に相容れない仮説の連続性について,その代替案を提示する。
  論文  参考訳（メタデータ） (2023-09-29T08:14:25Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models [10.66048003460524]
  この研究はPACの基礎に触発され、既存の回帰学習問題に動機付けられている。 提案手法はEpsilon-Confidence Aough Correct (epsilon CoAC)で示され、Kullback Leibler divergence(相対エントロピー)を利用する。 これにより、学習者は異なる複雑性順序の仮説クラスを比較でき、それらの中から最小のエプシロンを最適に選択できる。
  論文  参考訳（メタデータ） (2023-03-28T15:59:12Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Demystification of Few-shot and One-shot Learning [63.58514532659252]
  近年,単発学習や単発学習が活発かつ集中的な研究の対象となっている。 学習機械の環境的あるいは潜在的な決定空間が、この空間にある大きな種類の物体よりも十分に高次元であれば、いくつかの例から容易に学習できることを示す。
  論文  参考訳（メタデータ） (2021-04-25T14:47:05Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• A Theory of Universal Learning [26.51949485387526]
  普遍的な学習の確率は3つしかないことを示す。 任意の概念クラスの学習曲線は指数的あるいは任意に遅い速度で減衰することを示す。
  論文  参考訳（メタデータ） (2020-11-09T15:10:32Z)
• Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
  類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。 類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-11T05:35:16Z)
• On Learnability under General Stochastic Processes [20.22409095000365]
  一般の非イド過程における統計的学習は、未熟である。 一般プロセスの下で関数クラスの学習可能性に関する2つの自然な概念を提供する。 我々の結果は二項分類と回帰の両方に当てはまる。
  論文  参考訳（メタデータ） (2020-05-15T15:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。