論文の概要: Geometry-Calibrated DRO: Combating Over-Pessimism with Free Energy Implications

• arxiv url: http://arxiv.org/abs/2311.05054v1
• Date: Wed, 8 Nov 2023 23:33:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 16:30:37.753252
• Title: Geometry-Calibrated DRO: Combating Over-Pessimism with Free Energy Implications
• Title（参考訳）: 幾何キャリブレーションDRO:自由エネルギー含意によるオーバープシミズム
• Authors: Jiashuo Liu, Jiayun Wu, Tianyu Wang, Hao Zou, Bo Li, Peng Cui
• Abstract要約: 機械学習アルゴリズムは、分散シフトの影響を受けやすい平均リスクを最小化する。 分散ロバスト最適化(DRO)は、不確実性セット内の最悪のケースリスクを最適化することでこの問題に対処する。 DROは過ペシミズムに悩まされており、低信頼の予測、パラメータ推定の低さ、一般化の低さにつながっている。 本研究では,過ペシミズムの根本原因を理論的に解析する。
• 参考スコア（独自算出の注目度）: 31.3535638804615
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine learning algorithms minimizing average risk are susceptible to distributional shifts. Distributionally Robust Optimization (DRO) addresses this issue by optimizing the worst-case risk within an uncertainty set. However, DRO suffers from over-pessimism, leading to low-confidence predictions, poor parameter estimations as well as poor generalization. In this work, we conduct a theoretical analysis of a probable root cause of over-pessimism: excessive focus on noisy samples. To alleviate the impact of noise, we incorporate data geometry into calibration terms in DRO, resulting in our novel Geometry-Calibrated DRO (GCDRO) for regression. We establish the connection between our risk objective and the Helmholtz free energy in statistical physics, and this free-energy-based risk can extend to standard DRO methods. Leveraging gradient flow in Wasserstein space, we develop an approximate minimax optimization algorithm with a bounded error ratio and elucidate how our approach mitigates noisy sample effects. Comprehensive experiments confirm GCDRO's superiority over conventional DRO methods.
• Abstract（参考訳）: 平均リスクを最小化する機械学習アルゴリズムは、分布シフトの影響を受けやすい。 分散ロバスト最適化(DRO)は不確実性セット内の最悪のリスクを最適化することでこの問題に対処する。 しかし、DROは過ペシミズムに悩まされ、信頼性の低い予測、パラメータ推定の低さ、一般化の低さにつながる。 本研究では,過ペシミズムの根本原因を理論的に解析する。 ノイズの影響を軽減するため、DROのキャリブレーション項にデータジオメトリを組み込むことで、新しい回帰法であるGeometry-Calibrated DRO(GCDRO)を導出する。 我々は統計物理学における我々のリスク目標とヘルムホルツ自由エネルギーの関係を確立し、この自由エネルギーに基づくリスクは標準dro法に拡張できる。 ワッサーシュタイン空間の勾配流を利用して,境界誤差比を持つ近似ミニマックス最適化アルゴリズムを開発し,提案手法がノイズのあるサンプル効果を緩和する方法を解明する。 総合実験により、従来のDRO法よりもGCDROの方が優れていることが確認された。

関連論文リスト

• A Primal-Dual Algorithm for Faster Distributionally Robust Optimization [12.311794669976047]
  本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。 分類と回帰の数値的なベンチマークで理論的結果を支持する。
  論文  参考訳（メタデータ） (2024-03-16T02:06:14Z)
• Outlier-Robust Wasserstein DRO [19.355450629316486]
  分散ロバスト最適化(DRO)は不確実性の存在下でのデータ駆動型意思決定に有効な手法である。 本稿では、幾何学的(ワッサーシュタイン)摂動と非幾何学的(TV)汚染の両面から意思決定を行うための新しいアウトリアローバストWDROフレームワークを提案する。 我々は、トラクタブル凸の再構成と、外乱問題WDROの効率的な計算を可能にする強力な双対性を証明した。
  論文  参考訳（メタデータ） (2023-11-09T18:32:00Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Efficient Stochastic Approximation of Minimax Excess Risk Optimization [36.68685001551774]
  我々はMEROを直接対象とする効率的な近似手法を開発した。 最小リスクの推定誤差に起因するバイアスが制御下にあることを示す。 また,各分布から抽出したサンプルの量が異なる場合の現実的シナリオについても検討し,分布依存収束率を導出する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T02:21:11Z)
• Robust Generalization against Photon-Limited Corruptions via Worst-Case Sharpness Minimization [89.92932924515324]
  ロバスト一般化は、トレーニングセットで稀であり、厳しいノイズを含む最も困難なデータ分散に取り組むことを目的としている。 分散ロバスト最適化(DRO)のような一般的なソリューションは、低いトレーニングエラーを保証するための最悪の経験的リスクに焦点を当てている。 本稿では,学習パラメータの近傍における損失変化を計測し,最悪ケース分布の鋭さをペナルティ化し,シャープDROを提案する。 シャープDROは、汚職に対する強力な一般化能力を示し、高い性能向上を有するよく知られたベースライン法を超えることを示す。
  論文  参考訳（メタデータ） (2023-03-23T07:58:48Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• DORO: Distributional and Outlier Robust Optimization [98.44757325531631]
  本稿では,分散ロバスト最適化のためのDOROのフレームワークを提案する。 このアプローチのコアとなるのは、DROがオーバーフィットして潜在的な外れ値に収まらないような、洗練されたリスク関数である。 提案手法の有効性を理論的に証明し, DOROがDROの性能と安定性を向上することを示す。
  論文  参考訳（メタデータ） (2021-06-11T02:59:54Z)
• Principled learning method for Wasserstein distributionally robust optimization with local perturbations [21.611525306059985]
  ワッサーシュタイン分布論的ロバスト最適化(WDRO)は、実験データ分布近傍の局所的な最悪のリスクを最小限に抑えるモデルを学習しようとする。 本稿では,新しい近似定理に基づく最小化器を提案し,それに対応するリスク一貫性結果を提供する。 提案手法は,ノイズのあるデータセットのベースラインモデルよりも精度が高いことを示す。
  論文  参考訳（メタデータ） (2020-06-05T09:32:37Z)
• Robust Reinforcement Learning with Wasserstein Constraint [49.86490922809473]
  最適なロバストなポリシーの存在を示し、摂動に対する感度分析を行い、新しいロバストな学習アルゴリズムを設計する。 提案アルゴリズムの有効性はCart-Pole環境で検証する。
  論文  参考訳（メタデータ） (2020-06-01T13:48:59Z)
• Mixed Strategies for Robust Optimization of Unknown Objectives [93.8672371143881]
  そこでは,不確実なパラメータの最悪の実現に対して,未知の目的関数を最適化することを目的として,ロバストな最適化問題を考察する。 我々は,未知の目的をノイズ点評価から逐次学習する,新しいサンプル効率アルゴリズムGP-MROを設計する。 GP-MROは、最悪のケースで期待される目標値を最大化する、堅牢でランダムな混合戦略の発見を目指している。
  論文  参考訳（メタデータ） (2020-02-28T09:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。