論文の概要: Modeling the Second Player in Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2103.10282v1
• Date: Thu, 18 Mar 2021 14:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-19 21:32:10.397871
• Title: Modeling the Second Player in Distributionally Robust Optimization
• Title（参考訳）: 分布的ロバスト最適化における第2プレイヤーのモデリング
• Authors: Paul Michel, Tatsunori Hashimoto, Graham Neubig
• Abstract要約: 我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
• 参考スコア（独自算出の注目度）: 90.25995710696425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributionally robust optimization (DRO) provides a framework for training machine learning models that are able to perform well on a collection of related data distributions (the "uncertainty set"). This is done by solving a min-max game: the model is trained to minimize its maximum expected loss among all distributions in the uncertainty set. While careful design of the uncertainty set is critical to the success of the DRO procedure, previous work has been limited to relatively simple alternatives that keep the min-max optimization problem exactly tractable, such as $f$-divergence balls. In this paper, we argue instead for the use of neural generative models to characterize the worst-case distribution, allowing for more flexible and problem-specific selection of the uncertainty set. However, while simple conceptually, this approach poses a number of implementation and optimization challenges. To circumvent these issues, we propose a relaxation of the KL-constrained inner maximization objective that makes the DRO problem more amenable to gradient-based optimization of large scale generative models, and develop model selection heuristics to guide hyper-parameter search. On both toy settings and realistic NLP tasks, we find that the proposed approach yields models that are more robust than comparable baselines.
• Abstract（参考訳）: 分散的ロバスト最適化 (distributionally robust optimization, dro) は、関連するデータ分散の集合("uncertainty set")でうまく機能する機械学習モデルをトレーニングするためのフレームワークを提供する。 これはmin-maxゲーム(英語版)を解くことで実現され、モデルは不確実集合内の全ての分布における最大損失を最小限に抑えるよう訓練される。 不確実性セットの注意深い設計はDRO手順の成功に不可欠であるが、以前の研究は、$f$-divergence ballsのようなmin-max最適化問題を正確に抽出できる比較的単純な代替案に限られていた。 本稿では,神経生成モデルを用いて最悪の症例分布を特徴付け,不確実性集合のより柔軟かつ問題特異的な選択を可能にすることを論じる。 しかし、概念的には単純だが、このアプローチは多くの実装と最適化の課題をもたらす。 これらの問題を回避すべく,大規模生成モデルの勾配に基づく最適化に対してdro問題をより緩和し,超パラメータ探索を導くモデル選択ヒューリスティックスを開発するkl制約内包最大化目標の緩和を提案する。 おもちゃの設定と現実的なNLPタスクの両方において、提案手法は同等のベースラインよりも堅牢なモデルを生成する。

関連論文リスト

• Soft Preference Optimization: Aligning Language Models to Expert Distributions [40.84391304598521]
  SPOは、Large Language Models (LLMs)のような生成モデルと人間の好みを整合させる手法である。 SPOは、選好損失をモデル全体の出力分布全体にわたる正規化項と統合する。 本稿では,SPOの方法論,理論的基礎,および単純さ,計算効率,アライメント精度における比較優位性について紹介する。
  論文  参考訳（メタデータ） (2024-04-30T19:48:55Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Stochastic Methods for AUC Optimization subject to AUC-based Fairness Constraints [51.12047280149546]
  公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。 フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。 フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-23T22:29:08Z)
• Hedging Complexity in Generalization via a Parametric Distributionally Robust Optimization Framework [18.6306170209029]
  経験的リスク最小化(ERM)と分散ロバスト最適化(DRO)は最適化問題の解法として一般的な手法である。 本稿では,パラメトリックな分布系列を用いて乱摂動分布を近似する簡単な手法を提案する。 この新たな誤差源は適切なDRO定式化によって制御可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:26:34Z)
• Markov Decision Processes under Model Uncertainty [0.0]
  モデル不確実性の下でマルコフ決定問題に対する一般的な枠組みを導入する。 このフレームワークをS&P 500のデータを含むポートフォリオ最適化に適用する。
  論文  参考訳（メタデータ） (2022-06-13T12:51:31Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• A Nested Weighted Tchebycheff Multi-Objective Bayesian Optimization Approach for Flexibility of Unknown Utopia Estimation in Expensive Black-box Design Problems [0.0]
  既存の研究では、未知のユートピアを定式化するための重み付きTchebycheff MOBOアプローチが実証されている。 モデルアンサンブルから回帰モデル選択手順を構築する,ネスト重み付きTchebycheff MOBOフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-16T00:44:06Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。