論文の概要: Optimal Regularization Under Uncertainty: Distributional Robustness and Convexity Constraints

• arxiv url: http://arxiv.org/abs/2510.03464v1
• Date: Fri, 03 Oct 2025 19:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.056627
• Title: Optimal Regularization Under Uncertainty: Distributional Robustness and Convexity Constraints
• Title（参考訳）: 不確実性下における最適正則化:分布ロバスト性および凸性制約
• Authors: Oscar Leong, Eliza O'Reilly, Yong Sheng Soh,
• Abstract要約: 分布的に堅牢な最適正規化のためのフレームワークを導入する。 トレーニング分布の計算と均一な事前計算との間には,ロバストな正則化器がどのように介在するかを示す。
• 参考スコア（独自算出の注目度）: 9.77322868877488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regularization is a central tool for addressing ill-posedness in inverse problems and statistical estimation, with the choice of a suitable penalty often determining the reliability and interpretability of downstream solutions. While recent work has characterized optimal regularizers for well-specified data distributions, practical deployments are often complicated by distributional uncertainty and the need to enforce structural constraints such as convexity. In this paper, we introduce a framework for distributionally robust optimal regularization, which identifies regularizers that remain effective under perturbations of the data distribution. Our approach leverages convex duality to reformulate the underlying distributionally robust optimization problem, eliminating the inner maximization and yielding formulations that are amenable to numerical computation. We show how the resulting robust regularizers interpolate between memorization of the training distribution and uniform priors, providing insights into their behavior as robustness parameters vary. For example, we show how certain ambiguity sets, such as those based on the Wasserstein-1 distance, naturally induce regularity in the optimal regularizer by promoting regularizers with smaller Lipschitz constants. We further investigate the setting where regularizers are required to be convex, formulating a convex program for their computation and illustrating their stability with respect to distributional shifts. Taken together, our results provide both theoretical and computational foundations for designing regularizers that are reliable under model uncertainty and structurally constrained for robust deployment.
• Abstract（参考訳）: 正則化は逆問題や統計的推定の不備に対処する中心的なツールであり、適切なペナルティの選択は下流のソリューションの信頼性と解釈可能性を決定することが多い。 最近の研究は、明確に特定されたデータ分布に対して最適な正規化器を特徴付けているが、実際的な展開は、分布の不確実性や凸性のような構造的制約を強制する必要があるため、しばしば複雑である。 本稿では,データ分散の摂動下で有効である正規化器を同定する,分布的に堅牢な最適正規化のためのフレームワークを提案する。 提案手法は凸双対性を利用して、基礎となる分布的ロバストな最適化問題を修正し、内部の最大化を排除し、数値計算に相応しい定式化を与える。 その結果,ロバストな正規化器がトレーニング分布の記憶と均一な事前の記憶の間にどのように介在するかを示し,ロバストなパラメータとしてそれらの挙動を考察する。 例えば、ワッサーシュタイン-1 距離に基づくような特定の曖昧性集合が、より小さなリプシッツ定数を持つ正則化器を推進することによって、最適正則化器の正則性を自然に誘導することを示す。 さらに、正規化器が凸である必要のある設定について検討し、その計算のための凸プログラムを定式化し、分布シフトに関する安定性を図示する。 本研究は,モデル不確実性の下で信頼性が高く,ロバストな配置に制約のある正則化器を設計するための理論的および計算的基礎を提供する。

関連論文リスト

• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• An Inexact Halpern Iteration with Application to Distributionally Robust Optimization [8.722877733571796]
  不正確なスキームを適切に選択することにより、(予想される)剰余ノルムの点において$O(k-1)収束率を許容することを示す。 本稿では,データ駆動型分散ロバスト最適化の2つのクラスを解くために,提案手法をいかに適用できるかを示す。
  論文  参考訳（メタデータ） (2024-02-08T20:12:47Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• On Regularization and Inference with Label Constraints [62.60903248392479]
  機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
  論文  参考訳（メタデータ） (2023-07-08T03:39:22Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Optimal Regularization for a Data Source [8.38093977965175]
  解の量を促進する正則化器でデータの忠実性を強制する基準を強化するのが一般的である。 本稿では,凸正則化のパワーと限界の体系的理解を求める。
  論文  参考訳（メタデータ） (2022-12-27T20:11:59Z)
• Rockafellian Relaxation and Stochastic Optimization under Perturbations [0.056247917037481096]
  我々は、ロカフェル緩和に基づく楽観的なフレームワークを開発し、最適化は元の決定空間だけでなく、モデルの選択と共同で行われる。 この枠組みは、厳密かつ厳密なロックフェリアンの新たな概念に焦点を合わせ、特定の設定で否定的な「正規化」の解釈が現れる。
  論文  参考訳（メタデータ） (2022-04-10T20:02:41Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。