論文の概要: Theoretical Analysis of Divide-and-Conquer ERM: Beyond Square Loss and RKHS

• arxiv url: http://arxiv.org/abs/2003.03882v3
• Date: Tue, 21 Apr 2020 07:59:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 07:58:36.117895
• Title: Theoretical Analysis of Divide-and-Conquer ERM: Beyond Square Loss and RKHS
• Title（参考訳）: 分割・変換erm:beyond square lossとrkhsの理論解析
• Authors: Yong Liu and Lizhong Ding and Weiping Wang
• Abstract要約: 一般損失関数と仮説空間に対する分散経験的リスク最小化(ERM)のリスク性能について検討する。 まず、仮説空間上のいくつかの基本的な仮定の下で、滑らかさ、リプシッツ連続性、損失関数の強い凸性、という2つの厳密なリスク境界を導出する。 第2に、強い凸性を制限することなく、分散ERMに対してより一般的なリスクバウンドを開発する。
• 参考スコア（独自算出の注目度）: 20.663792705336483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Theoretical analysis of the divide-and-conquer based distributed learning with least square loss in the reproducing kernel Hilbert space (RKHS) have recently been explored within the framework of learning theory. However, the studies on learning theory for general loss functions and hypothesis spaces remain limited. To fill the gap, we study the risk performance of distributed empirical risk minimization (ERM) for general loss functions and hypothesis spaces. The main contributions are two-fold. First, we derive two tight risk bounds under certain basic assumptions on the hypothesis space, as well as the smoothness, Lipschitz continuity, strong convexity of the loss function. Second, we further develop a more general risk bound for distributed ERM without the restriction of strong convexity.
• Abstract（参考訳）: 再生成カーネルヒルベルト空間 (RKHS) における最小二乗損失を有する分散学習の分散分散学習の理論解析は,近年,学習理論の枠組みの中で研究されている。 しかし、一般損失関数と仮説空間に対する学習理論の研究は限られている。 このギャップを埋めるために,一般損失関数と仮説空間に対する分散経験的リスク最小化(erm)のリスク性能について検討する。 主な貢献は2つある。 まず、仮説空間上のある基本的な仮定の下で、2つの厳密なリスク境界と、滑らかさ、リプシッツ連続性、損失関数の強い凸性を求める。 第2に,強い凸性の制約を伴わずに,分散ermに対するより一般的なリスクバウンドを更に開発する。

関連論文リスト

• Generalization Bounds for Causal Regression: Insights, Guarantees and Sensitivity Analysis [0.66567375919026]
  このような保証を提供する一般化境界に基づく理論を提案する。 新たな測定の不等式の変化を導入することで、モデル損失を厳格に拘束することが可能になります。 半合成データと実データの境界を実証し、その顕著な厳密さと実用性を示す。
  論文  参考訳（メタデータ） (2024-05-15T17:17:27Z)
• Strong Duality Relations in Nonconvex Risk-Constrained Learning [0.0]
  一般無限次元バナッハ空間に対する J. J. Uhl の凸性は A. A. Lynovs の拡張である。 我々は,制約付き分類と回帰を統一レンズで処理できることを示し,現在の文献で実施されている一定の制約的仮定は,新たな最先端技術であることを示した。
  論文  参考訳（メタデータ） (2023-12-02T11:21:00Z)
• Robust Distributed Learning: Tight Error Bounds and Breakdown Point under Data Heterogeneity [11.2120847961379]
  本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。 また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
  論文  参考訳（メタデータ） (2023-09-24T09:29:28Z)
• Out-of-Distribution Optimality of Invariant Risk Minimization [20.389816785165333]
  不変リスク最小化(IRM)は、o.o.d.リスクを最小化するための有望なアプローチであると考えられている。 本稿では、二段階最適化問題の解が特定の条件下でのo.o.d.リスクを最小限に抑えることを厳密に証明する。
  論文  参考訳（メタデータ） (2023-07-22T03:31:15Z)
• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime [75.19403612525811]
  この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。 実証的研究は予測分布の改善を示す。
  論文  参考訳（メタデータ） (2020-10-19T16:08:34Z)
• Relative Deviation Margin Bounds [55.22251993239944]
  我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。 有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
  論文  参考訳（メタデータ） (2020-06-26T12:37:17Z)
• Learning Bounds for Risk-sensitive Learning [86.50262971918276]
  リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。 最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
  論文  参考訳（メタデータ） (2020-06-15T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。