論文の概要: Upper Bounds on the Generalization Error of Deep Learning Models via Local Robustness and Stability

• arxiv url: http://arxiv.org/abs/2606.16883v1
• Date: Mon, 15 Jun 2026 15:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.742507
• Title: Upper Bounds on the Generalization Error of Deep Learning Models via Local Robustness and Stability
• Title（参考訳）: 局所ロバスト性と安定性によるディープラーニングモデルの一般化誤差に関する上界
• Authors: Abdul-Rauf Nuhu, Parham M. Kebria, Vahid Hemmati, Mahmoud N. Mahmoud, Edward Tunstel, Abdollah Homaifar,
• Abstract要約: 一般化は、データ駆動モデル、特に安全性クリティカルなアプリケーションにデプロイされたディープラーニングモデルの重要な特性である。 ほとんどの既存の境界は、実際の設定で空白に悩まされ、実際のエラー率を大幅に上回る緩やかな上限となる。 本稿では,各サブリージョン内の安定サンプル数と不安定サンプル数に応じて,ロバストネス項をスケールする一般化境界を提案する。
• 参考スコア（独自算出の注目度）: 0.6717411448500911
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generalization is a critical property of data-driven models, particularly deep learning models deployed in safety-critical applications. Robustness-based generalization bounds have gained attention as a principled way to link robustness properties to generalization performance, often in a data-dependent manner. However, most existing bounds suffer from vacuousness in practical settings, yielding loose upper bounds that greatly exceed the actual error rates and limiting their usefulness for real-world evaluation. While this issue is often attributed to the uncertainty term, a substantial part of the problem originates from the robustness term itself, particularly for the 0-1 loss. Existing approaches typically treat the robustness term as a global measure, ignoring its variation across different sub-regions of the input space. In this work, we propose a generalization bound that addresses this limitation by scaling the robustness term according to the number of stable and unstable samples within each sub-region. Our bounds incorporate both data- and model-dependent factors while maintaining practical relevance (yielding tighter upper bounds on true error). Experiments on models trained on the ImageNet dataset show that our bounds remain consistently non-vacuous and achieve the tightest estimates among existing methods, closely aligning with empirical performance across a range of robust deep neural networks.
• Abstract（参考訳）: 一般化は、データ駆動モデル、特に安全性クリティカルなアプリケーションにデプロイされたディープラーニングモデルの重要な特性である。 ロバストネスに基づく一般化境界は、しばしばデータ依存的な方法で、ロバストネス特性と一般化性能をリンクする原則的な方法として注目されている。 しかし、既存の境界は現実的な設定では空白化に悩まされ、実際のエラー率を大幅に上回る緩やかな上限が得られ、実世界の評価にその有用性を制限する。 この問題はしばしば不確実性項に起因するが、問題のかなりの部分はロバストネス項自体、特に0-1の損失に由来する。 既存のアプローチは通常、ロバストネスという用語を大域測度として扱い、入力空間の異なる部分領域にまたがる変化を無視している。 本研究では,各サブリージョン内の安定なサンプル数と不安定なサンプル数に応じて,ロバストネス項をスケールすることで,この制限に対処する一般化境界を提案する。 我々の境界は、実際の関連性を維持しながら、データとモデルに依存した要素の両方を包含する(真のエラーに対してより厳密な上限を得る)。 ImageNetデータセットでトレーニングされたモデル実験により、我々の境界は一貫して非空白であり、既存の手法の中で最も厳密な見積もりを実現し、堅牢なディープニューラルネットワークの範囲にわたる経験的パフォーマンスと密接に一致していることが示された。

関連論文リスト

• Improving Adversarial Robustness of Attribution via Implicit Regularization [9.78455276849371]
  属性の敵対的堅牢性は、深層学習における信頼性説明可能性の基本的な要件である。 我々は、標準勾配降下の学習力学から頑健性が暗黙的に生じることを示した。 本研究は,ロバストな説明可能性のための原理的かつ実践的なメカニズムとして,学習力学を強調した。
  論文  参考訳（メタデータ） (2026-05-28T14:19:39Z)
• Practical Global and Local Bounds in Gaussian Process Regression via Chaining [4.500208956289746]
  本稿では,予期しないデータに対する期待値の上限値と下限値を推定するための連鎖に基づくフレームワークを提案する。 また,特定入力における局所不確実性定量化手法を開発した。
  論文  参考訳（メタデータ） (2025-11-12T09:30:01Z)
• It's All in the Mix: Wasserstein Classification and Regression with Mixed Features [2.2685251390114565]
  我々は、離散的特徴の存在を忠実に説明できる分布的に堅牢な予測モデルを開発し、分析する。 我々のモデルは、離散的特徴の存在に非依存な既存手法を著しく上回り得ることを実証する。
  論文  参考訳（メタデータ） (2023-12-19T15:15:52Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Robustness Implies Generalization via Data-Dependent Generalization Bounds [24.413499775513145]
  本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。 本稿では,LassoとDeep Learningのいくつかの例を紹介する。
  論文  参考訳（メタデータ） (2022-06-27T17:58:06Z)
• Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
  トレーニングデータポイントの不確実性による摂動について考察する。 損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。 線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-02-11T16:22:08Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。