論文の概要: Flow-based Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2310.19253v4
• Date: Sat, 24 Feb 2024 23:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 11:48:44.163373
• Title: Flow-based Distributionally Robust Optimization
• Title（参考訳）: フローベース分布ロバスト最適化
• Authors: Chen Xu, Jonghyeok Lee, Xiuyuan Cheng, Yao Xie
• Abstract要約: We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
• 参考スコア（独自算出の注目度）: 23.232731771848883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a computationally efficient framework, called $\texttt{FlowDRO}$, for solving flow-based distributionally robust optimization (DRO) problems with Wasserstein uncertainty sets while aiming to find continuous worst-case distribution (also called the Least Favorable Distribution, LFD) and sample from it. The requirement for LFD to be continuous is so that the algorithm can be scalable to problems with larger sample sizes and achieve better generalization capability for the induced robust algorithms. To tackle the computationally challenging infinitely dimensional optimization problem, we leverage flow-based models and continuous-time invertible transport maps between the data distribution and the target distribution and develop a Wasserstein proximal gradient flow type algorithm. In theory, we establish the equivalence of the solution by optimal transport map to the original formulation, as well as the dual form of the problem through Wasserstein calculus and Brenier theorem. In practice, we parameterize the transport maps by a sequence of neural networks progressively trained in blocks by gradient descent. We demonstrate its usage in adversarial learning, distributionally robust hypothesis testing, and a new mechanism for data-driven distribution perturbation differential privacy, where the proposed method gives strong empirical performance on high-dimensional real data.
• Abstract（参考訳）: 計算効率のよいフレームワークである$\texttt{flowdro}$を提案し,フローベースの分散的ロバスト最適化(dro)問題をwassersteinの不確実性集合で解決し,連続的最悪ケース分布(lfdとも呼ばれる)とサンプルを求める。 lfdが連続であることの要件は、大きなサンプルサイズを持つ問題に対してアルゴリズムがスケーラブルになり、誘導ロバストアルゴリズムのより良い一般化能力を達成することである。 無限次元最適化問題に対処するために,データ分布と目標分布の間の流れモデルと連続時間可逆輸送マップを活用し,ワッサーシュタイン近似勾配型アルゴリズムを開発した。 理論上、元の定式化への最適輸送写像による解の同値性を確立するとともに、ワッサーシュタイン積分とブレニエ定理による問題の双対形式も確立する。 実際には、勾配降下によりブロックで漸進的に訓練されたニューラルネットワークの列によって輸送マップをパラメータ化する。 提案手法は,高次元実データに対して強い経験的性能を与えるデータ駆動分布摂動微分プライバシーの新たなメカニズムとして,逆学習,分布的ロバストな仮説テスト,およびその利用を実証する。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  Rectified Flow (RF) は、一連の凸最適化問題を用いて、ノイズからデータへの直流軌跡の学習を目的としている。 RFは理論上、連続的な修正を通じて軌道を直線化し、サンプリング中の評価関数(NFE)の数を減少させる。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する最初の理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Geometry-Aware Normalizing Wasserstein Flows for Optimal Causal Inference [0.0]
  本稿では,パラメトリックサブモデルと連続正規化フローを統合することにより,因果推論に対する画期的なアプローチを提案する。 我々は、最適輸送とワッサーシュタイン勾配流を利用して、有限サンプル設定における最小分散の因果推論手法を開発する。 予備実験では, 従来の流れに比べて平均二乗誤差が低い。
  論文  参考訳（メタデータ） (2023-11-30T18:59:05Z)
• Dynamic Flows on Curved Space Generated by Labeled Data [17.621847430986854]
  興味のあるデータセットに近い新しいサンプルを生成するための勾配流法を提案する。 本手法は,移動学習環境における分類モデルの精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-01-31T19:53:01Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Relative Entropy-Regularized Optimal Transport on a Graph: a new algorithm and an experimental comparison [0.0]
  本研究は,ランダム化された最短経路形式におけるグラフ問題に対する最適輸送を解くための,新しい相対エントロピー正規化アルゴリズムについて検討する。 この新たな定式化の主な利点は、エッジフローキャパシティの制約に容易に対応できるという事実である。 結果として得られる最適ルーティングポリシー、すなわち各ノードのエッジに従う確率分布はマルコビアンであり、入力と出力を所定の限界確率に制限することで計算される。
  論文  参考訳（メタデータ） (2021-08-23T08:25:51Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。