論文の概要: Concave Certificates: Geometric Framework for Distributionally Robust Risk and Complexity Analysis
- arxiv url: http://arxiv.org/abs/2601.01311v1
- Date: Sun, 04 Jan 2026 00:24:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:22.186399
- Title: Concave Certificates: Geometric Framework for Distributionally Robust Risk and Complexity Analysis
- Title(参考訳): Concave Certificates:Geometric Framework for Distributionally Robust Risk and Complexity Analysis
- Authors: Hong T. M. Chu,
- Abstract要約: 分散ロバスト(DR)最適化は、ワッサーシュタインの不確実性集合内の最悪のケースリスクの証明を目的としている。
本稿では,成長速度関数の最小長元に基づく新しい幾何学的枠組みを提案する。
この枠組みを複雑性解析に拡張し、標準的な統計的境界を補完する決定論的境界を導入する。
- 参考スコア(独自算出の注目度): 0.7106986689736828
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributionally Robust (DR) optimization aims to certify worst-case risk within a Wasserstein uncertainty set. Current certifications typically rely either on global Lipschitz bounds, which are often conservative, or on local gradient information, which provides only a first-order approximation. This paper introduces a novel geometric framework based on the least concave majorants of the growth rate function. Our proposed concave certificate establishes a tight bound of DR risk that remains applicable to non-Lipschitz and non-differentiable losses. We extend this framework to complexity analysis, introducing a deterministic bound that complements standard statistical generalization bound. Furthermore, we utilize this certificate to bound the gap between adversarial and empirical Rademacher complexity, demonstrating that dependencies on input diameter, network width, and depth can be eliminated. For practical application in deep learning, we introduce the adversarial score as a tractable relaxation of the concave certificate that enables efficient and layer-wise analysis of neural networks. We validate our theoretical results in various numerical experiments on classification and regression tasks on real-world data.
- Abstract(参考訳): 分散ロバスト(DR)最適化は、ワッサーシュタインの不確実性集合内の最悪のケースリスクの証明を目的としている。
現在の認証は、しばしば保守的であるグローバルリプシッツ境界や、一階近似のみを提供する局所勾配情報に依存する。
本稿では,成長速度関数の最小長元に基づく新しい幾何学的枠組みを提案する。
提案した凹凸証明書は,非Lipschitzおよび非微分不能損失に適用可能な,DRリスクの厳密な境界を確立する。
この枠組みを複雑性解析に拡張し、標準統計一般化境界を補完する決定論的境界を導入する。
さらに, この証明を用いて, 逆数と経験的ラデマッハの複雑性のギャップを埋めることにより, 入力径, ネットワーク幅, 深さへの依存性を排除できることを実証する。
ディープラーニングの実践的応用として,ニューラルネットワークの効率的かつ階層的な解析を可能にする凹凸証明書の抽出可能な緩和法として,逆数スコアを導入する。
実世界のデータに基づく分類と回帰タスクに関する様々な数値実験で理論的結果を検証する。
関連論文リスト
- Lipschitz-Based Robustness Certification for Recurrent Neural Networks via Convex Relaxation [0.0]
本稿では,RNNの層間相互作用を凸問題としてモデル化する緩和法であるRNN-SDPを提案する。
また、既知の入力制約を組み込んで得られるリプシッツ境界をさらに強化する拡張についても検討する。
論文 参考訳(メタデータ) (2025-09-22T15:26:46Z) - Risk-Averse Certification of Bayesian Neural Networks [70.44969603471903]
本稿では,RAC-BNNと呼ばれるベイズニューラルネットワークに対するリスク・アバース認証フレームワークを提案する。
提案手法はサンプリングと最適化を利用して,BNNの出力集合の音響近似を計算する。
我々は,RAC-BNNを回帰および分類ベンチマークで検証し,その性能を最先端の手法と比較した。
論文 参考訳(メタデータ) (2024-11-29T14:22:51Z) - Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。
経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
論文 参考訳(メタデータ) (2024-06-07T01:07:35Z) - VALID: a Validated Algorithm for Learning in Decentralized Networks with Possible Adversarial Presence [13.612214163974459]
不均一なデータを持つ非方向性ネットワークに対して、検証された分散学習のパラダイムを導入する。
VALIDプロトコルは、検証された学習保証を達成した最初のプロトコルである。
興味深いことに、VALIDは敵のない環境での最適なパフォーマンス指標を維持している。
論文 参考訳(メタデータ) (2024-05-12T15:55:43Z) - Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。
ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
論文 参考訳(メタデータ) (2023-08-01T02:07:47Z) - Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。
我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
論文 参考訳(メタデータ) (2023-05-31T08:13:14Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳(メタデータ) (2022-07-19T05:47:30Z) - Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。
PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文 参考訳(メタデータ) (2022-01-26T19:59:14Z) - False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。
SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文 参考訳(メタデータ) (2021-10-24T15:34:03Z) - CC-Cert: A Probabilistic Approach to Certify General Robustness of
Neural Networks [58.29502185344086]
安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。
意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。
我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
論文 参考訳(メタデータ) (2021-09-22T12:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。