論文の概要: Bayesian Nonparametrics Meets Data-Driven Robust Optimization

• arxiv url: http://arxiv.org/abs/2401.15771v2
• Date: Tue, 30 Jan 2024 05:01:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 11:33:55.662118
• Title: Bayesian Nonparametrics Meets Data-Driven Robust Optimization
• Title（参考訳）: Bayesian Nonparametrics - データ駆動ロバスト最適化
• Authors: Nicola Bariletto, Nhat Ho
• Abstract要約: 機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルとの知見を組み合わせることで、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
• 参考スコア（独自算出の注目度）: 34.55288809402238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training machine learning and statistical models often involves optimizing a data-driven risk criterion. The risk is usually computed with respect to the empirical data distribution, but this may result in poor and unstable out-of-sample performance due to distributional uncertainty. In the spirit of distributionally robust optimization, we propose a novel robust criterion by combining insights from Bayesian nonparametric (i.e., Dirichlet Process) theory and recent decision-theoretic models of smooth ambiguity-averse preferences. First, we highlight novel connections with standard regularized empirical risk minimization techniques, among which Ridge and LASSO regressions. Then, we theoretically demonstrate the existence of favorable finite-sample and asymptotic statistical guarantees on the performance of the robust optimization procedure. For practical implementation, we propose and study tractable approximations of the criterion based on well-known Dirichlet Process representations. We also show that the smoothness of the criterion naturally leads to standard gradient-based numerical optimization. Finally, we provide insights into the workings of our method by applying it to high-dimensional sparse linear regression and robust location parameter estimation tasks.
• Abstract（参考訳）: 機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 リスクは通常、経験的データ分布に関して計算されるが、分布の不確実性のために、貧弱で不安定なアウト・オブ・サンプル性能をもたらす可能性がある。 分布的ロバスト最適化の精神において、ベイズ非パラメトリック(すなわちディリクレ過程)理論と、滑らかな曖昧性逆選好の最近の決定論的モデルからの洞察を組み合わせることにより、新しいロバストな基準を提案する。 第一に,リッジとラッソ回帰を用いた標準正規化経験的リスク最小化手法との新たなつながりに注目した。 そこで,理論上,ロバスト最適化法の性能に関する良質な有限サンプルおよび漸近統計的保証の存在を実証する。 本研究は,ディリクレ過程表現に基づく基準の扱いやすい近似法を提案し,検討する。 また,基準の滑らかさが標準勾配に基づく数値最適化につながることを示した。 最後に,高次元スパース線形回帰およびロバストな位置パラメータ推定タスクに適用することにより,提案手法の動作に関する知見を提供する。

関連論文リスト

• Distributionally Robust Optimization as a Scalable Framework to Characterize Extreme Value Distributions [22.765095010254118]
  本研究の目的は分散ロバストな最適化 (DRO) 推定器の開発であり、特に多次元極値理論 (EVT) の統計量についてである。 点過程の空間における半パラメトリックな最大安定制約によって予測されるDRO推定器について検討した。 両手法は, 合成データを用いて検証し, 所定の特性を回復し, 提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-07-31T19:45:27Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Borrowing Strength in Distributionally Robust Optimization via Hierarchical Dirichlet Processes [35.53901341372684]
  提案手法は正規化推定,分布的ロバストな最適化,階層ベイズモデリングを統一する。 階層的ディリクレプロセス(HDP)を用いることで、マルチソースデータを効果的に処理する。 数値実験により,予測精度とパラメータ推定精度の両方の改善と安定化におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2024-05-21T19:03:09Z)
• Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
  我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。 本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。 本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2023-11-10T15:33:19Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity [51.476337785345436]
  有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。 ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-28T15:39:36Z)
• Integrated Conditional Estimation-Optimization [6.037383467521294]
  確率のある不確実なパラメータを文脈的特徴情報を用いて推定できる実世界の多くの最適化問題である。 不確実なパラメータの分布を推定する標準的な手法とは対照的に,統合された条件推定手法を提案する。 当社のI CEOアプローチは、穏健な条件下で理論的に一貫性があることを示します。
  論文  参考訳（メタデータ） (2021-10-24T04:49:35Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。