論文の概要: Strong Duality Relations in Nonconvex Risk-Constrained Learning

• arxiv url: http://arxiv.org/abs/2312.01110v1
• Date: Sat, 2 Dec 2023 11:21:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 19:05:05.794898
• Title: Strong Duality Relations in Nonconvex Risk-Constrained Learning
• Title（参考訳）: 非凸リスク制約学習における強い双対関係
• Authors: Dionysis Kalogerias, Spyridon Pougkakiotis
• Abstract要約: 一般無限次元バナッハ空間に対する J. J. Uhl の凸性は A. A. Lynovs の拡張である。 我々は,制約付き分類と回帰を統一レンズで処理できることを示し,現在の文献で実施されている一定の制約的仮定は,新たな最先端技術であることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We establish strong duality relations for functional two-step compositional risk-constrained learning problems with multiple nonconvex loss functions and/or learning constraints, regardless of nonconvexity and under a minimal set of technical assumptions. Our results in particular imply zero duality gaps within the class of problems under study, both extending and improving on the state of the art in (risk-neutral) constrained learning. More specifically, we consider risk objectives/constraints which involve real-valued convex and positively homogeneous risk measures admitting dual representations with bounded risk envelopes, generalizing expectations and including popular examples, such as the conditional value-at-risk (CVaR), the mean-absolute deviation (MAD), and more generally all real-valued coherent risk measures on integrable losses as special cases. Our results are based on recent advances in risk-constrained nonconvex programming in infinite dimensions, which rely on a remarkable new application of J. J. Uhl's convexity theorem, which is an extension of A. A. Lyapunov's convexity theorem for general, infinite dimensional Banach spaces. By specializing to the risk-neutral setting, we demonstrate, for the first time, that constrained classification and regression can be treated under a unifying lens, while dispensing certain restrictive assumptions enforced in the current literature, yielding a new state-of-the-art strong duality framework for nonconvex constrained learning.
• Abstract（参考訳）: 我々は,複数の非凸損失関数と/または学習制約を持つ機能的2段階構成リスク制約学習問題に対して,非凸性にかかわらず,最小限の技術的前提の下で,強い双対関係を確立する。 特に本研究の結果は,(リスクニュートラル)制約付き学習における芸術水準の拡大と改善の両面において,研究対象の課題のクラスにおけるゼロ双対性ギャップを暗示している。 具体的には,有界リスクエンベロープによる二重表現を認め,期待を一般化し,条件付き値アットリスク (CVaR) や平均絶対偏差 (MAD) などの一般的な事例を含む,実数値凸・正の均質リスク尺度を含むリスク目標・制約について考察する。 以上より,j.j. uhl の凸性定理(一般,無限次元バナッハ空間に対する a. a. lyapunov の凸性定理の拡張)を新たに適用した,無限次元のリスク制約非凸プログラミングの最近の進歩に基づく。 リスクニュートラルな設定を専門にすることにより、制約付き分類と回帰を統一レンズの下で扱えることを示すと同時に、現在の文献で実施されている一定の制約的な仮定を排除し、非凸制約学習のための新しい最先端の強い双対性フレームワークを提供する。

関連論文リスト

• Non-Asymptotic Bounds for Adversarial Excess Risk under Misspecified Models [9.65010022854885]
  本研究では,ある平滑な条件下での分布的敵攻撃によって引き起こされるリスクに,敵対的リスクが等価であることを示す。 対向推定器の一般化性能を評価するため, 対向過大リスクについて検討した。
  論文  参考訳（メタデータ） (2023-09-02T00:51:19Z)
• Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
  ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。 ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
  論文  参考訳（メタデータ） (2023-08-01T02:07:47Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Supervised Learning with General Risk Functionals [28.918233583859134]
  標準一様収束結果は、予想損失の予想損失の一般化ギャップを仮説クラスに束縛する。 我々は、損失分布のCDFを推定するための最初の一様収束結果を確立し、すべてのH"古いリスク関数と全ての仮説の両方に同時に保持する保証を与える。
  論文  参考訳（メタデータ） (2022-06-27T22:11:05Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• A Full Characterization of Excess Risk via Empirical Risk Landscape [8.797852602680445]
  本稿では,滑らかな凸関数と非損失関数の両方を持つ固有アルゴリズムにより訓練されたモデルのリスクを統一的に解析する。
  論文  参考訳（メタデータ） (2020-12-04T08:24:50Z)
• Learning Bounds for Risk-sensitive Learning [86.50262971918276]
  リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。 最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
  論文  参考訳（メタデータ） (2020-06-15T05:25:02Z)
• Theoretical Analysis of Divide-and-Conquer ERM: Beyond Square Loss and RKHS [20.663792705336483]
  一般損失関数と仮説空間に対する分散経験的リスク最小化(ERM)のリスク性能について検討する。 まず、仮説空間上のいくつかの基本的な仮定の下で、滑らかさ、リプシッツ連続性、損失関数の強い凸性、という2つの厳密なリスク境界を導出する。 第2に、強い凸性を制限することなく、分散ERMに対してより一般的なリスクバウンドを開発する。
  論文  参考訳（メタデータ） (2020-03-09T01:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。