論文の概要: Robustness Implies Generalization via Data-Dependent Generalization Bounds

• arxiv url: http://arxiv.org/abs/2206.13497v1
• Date: Mon, 27 Jun 2022 17:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 12:22:43.835421
• Title: Robustness Implies Generalization via Data-Dependent Generalization Bounds
• Title（参考訳）: データ依存型一般化境界によるロバストネスの一般化
• Authors: Kenji Kawaguchi, Zhun Deng, Kyle Luh, Jiaoyang Huang
• Abstract要約: 本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。 本稿では,LassoとDeep Learningのいくつかの例を紹介する。
• 参考スコア（独自算出の注目度）: 24.413499775513145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proves that robustness implies generalization via data-dependent generalization bounds. As a result, robustness and generalization are shown to be connected closely in a data-dependent manner. Our bounds improve previous bounds in two directions, to solve an open problem that has seen little development since 2010. The first is to reduce the dependence on the covering number. The second is to remove the dependence on the hypothesis space. We present several examples, including ones for lasso and deep learning, in which our bounds are provably preferable. The experiments on real-world data and theoretical models demonstrate near-exponential improvements in various situations. To achieve these improvements, we do not require additional assumptions on the unknown distribution; instead, we only incorporate an observable and computable property of the training samples. A key technical innovation is an improved concentration bound for multinomial random variables that is of independent interest beyond robustness and generalization.
• Abstract（参考訳）: 本稿では,データ依存的一般化境界を通した一般化がロバスト性を意味することを示す。 その結果、ロバスト性と一般化はデータ依存の方法で密接に接続されていることが示される。 2010年以来ほとんど開発されていないオープンな問題を解決するため、私たちの境界は2つの方向で以前の境界を改善します。 1つ目は、被覆数への依存を減らすことである。 2つ目は、仮説空間への依存を取り除くことである。 本稿では,LassoとDeep Learningのいくつかの例を紹介する。 実世界のデータと理論モデルに関する実験は、様々な状況でほぼ指数関数的な改善を示す。 これらの改善を達成するために、未知の分布に対する追加の仮定は必要とせず、トレーニングサンプルの可観測性と計算可能な特性だけを取り込んでいます。 重要な技術的革新は、ロバスト性や一般化を超えて独立した関心を持つ多項確率変数の集中性の改善である。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets [25.250314934981233]
  我々はまず,データ依存仮説セットを出力するトレーニングアルゴリズムを前提として,厳密な方法でPAC-Bayesianフレームワークを適用した。 このアプローチにより、多くのコンテキストに適用可能な、データ依存のバウンダリを証明できます。
  論文  参考訳（メタデータ） (2024-04-26T14:28:18Z)
• Trade-off Between Dependence and Complexity for Nonparametric Learning -- an Empirical Process Approach [10.27974860479791]
  データが時間的依存を示す多くのアプリケーションでは、対応する経験的プロセスは理解されていない。 標準的な$beta/rho$-mixingの仮定の下では、経験過程の期待上限に一般化する。 長距離依存下であっても、i.d.設定と同じ速度で達成できることが示される。
  論文  参考訳（メタデータ） (2024-01-17T05:08:37Z)
• Data-dependent Generalization Bounds via Variable-Size Compressibility [16.2444595840653]
  我々は「可変サイズ圧縮性」フレームワークのレンズによる一般化誤差に関する新しいデータ依存上界を確立する。 このフレームワークでは、アルゴリズムの一般化誤差を、その入力データの可変サイズの「圧縮率」にリンクする。 私たちが確立した新しい一般化境界は、テール境界、期待上のテール境界、および予想外境界である。
  論文  参考訳（メタデータ） (2023-03-09T16:17:45Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Adversarially Robust Models may not Transfer Better: Sufficient Conditions for Domain Transferability from the View of Regularization [17.825841580342715]
  機械学習の堅牢性とドメインの一般化は基本的に相関している。 最近の研究では、より堅牢な(逆向きに訓練された)モデルの方がより一般化可能であることが示されている。 彼らの基本的な関係に関する理論的理解が欠如している。
  論文  参考訳（メタデータ） (2022-02-03T20:26:27Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。