論文の概要: Flow-based distributionally robust optimization

• arxiv url: http://arxiv.org/abs/2310.19253v2
• Date: Tue, 7 Nov 2023 02:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 18:57:10.739107
• Title: Flow-based distributionally robust optimization
• Title（参考訳）: フローベース分布ロバスト最適化
• Authors: Chen Xu, Jonghyeok Lee, Xiuyuan Cheng, Yao Xie
• Abstract要約: FlowDROは、フローベースの分散ロバスト最適化(DRO)問題をWassersteinの不確実性セットで解くためのフレームワークである。 我々のフレームワークは汎用的で、大規模なサンプルサイズで高次元データを扱うことができ、様々なアプリケーションに役立ちます。
• 参考スコア（独自算出の注目度）: 23.232731771848883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a computationally efficient framework, called FlowDRO, for solving flow-based distributionally robust optimization (DRO) problems with Wasserstein uncertainty sets while aiming to find continuous worst-case distribution (also called the Least Favorable Distribution, LFD). The requirement for LFD to be continuous is so that the algorithm can be scalable to problems with larger sample sizes and achieve better generalization capability for the induced robust algorithms. To tackle the computationally challenging infinitely dimensional optimization problem, we leverage flow-based models and continuous-time invertible transport maps between the data distribution and the target distribution. We also develop a Wasserstein proximal gradient flow type of algorithm. In theory, we establish the equivalence of the solution by optimal transport map to the original formulation, as well as the dual form of the problem through Wasserstein calculus and Brenier theorem. In practice, we parameterize the transport maps by a sequence of neural networks progressively trained in blocks by gradient descent. Our computational framework is general, can handle high-dimensional data with large sample sizes, and can be useful for various applications. We demonstrate its usage in adversarial learning, distributionally robust hypothesis testing, and a new mechanism for data-driven distribution perturbation differential privacy, where the proposed method gives strong empirical performance on real high-dimensional data.
• Abstract（参考訳）: 我々は,フローベース分布のロバスト最適化(dro)問題をwassersteinの不確実性集合を用いて解き,連続的最悪の分布(lfdとも呼ばれる)を求めるための計算効率の高いフレームワークであるflowdroを提案する。 lfdが連続であることの要件は、大きなサンプルサイズを持つ問題に対してアルゴリズムがスケーラブルになり、誘導ロバストアルゴリズムのより良い一般化能力を達成することである。 無限次元最適化問題に挑戦するために、フローベースモデルとデータ分布と対象分布の間の連続時間可逆トランスポートマップを利用する。 また,ワッサースタイン近位勾配流型アルゴリズムを開発した。 理論上、元の定式化への最適輸送写像による解の同値性を確立するとともに、ワッサーシュタイン積分とブレニエ定理による問題の双対形式も確立する。 実際には、勾配降下によりブロックで漸進的に訓練されたニューラルネットワークの列によって輸送マップをパラメータ化する。 計算フレームワークは一般に,大規模なサンプルサイズを持つ高次元データを扱うことができ,様々な用途に有用である。 本稿では, 逆学習, 分散堅牢な仮説テスト, およびデータ駆動型分散摂動摂動差分プライバシーの新しいメカニズムを実証し, 提案手法は実次元データに対して強い経験的性能を与える。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Geometry-Aware Normalizing Wasserstein Flows for Optimal Causal Inference [0.0]
  本稿では,パラメトリックサブモデルと連続正規化フローを統合することにより,因果推論に対する画期的なアプローチを提案する。 我々は、最適輸送とワッサーシュタイン勾配流を利用して、有限サンプル設定における最小分散の因果推論手法を開発する。 予備実験では, 従来の流れに比べて平均二乗誤差が低い。
  論文  参考訳（メタデータ） (2023-11-30T18:59:05Z)
• Dynamic Flows on Curved Space Generated by Labeled Data [17.621847430986854]
  興味のあるデータセットに近い新しいサンプルを生成するための勾配流法を提案する。 本手法は,移動学習環境における分類モデルの精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-01-31T19:53:01Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Relative Entropy-Regularized Optimal Transport on a Graph: a new algorithm and an experimental comparison [0.0]
  本研究は,ランダム化された最短経路形式におけるグラフ問題に対する最適輸送を解くための,新しい相対エントロピー正規化アルゴリズムについて検討する。 この新たな定式化の主な利点は、エッジフローキャパシティの制約に容易に対応できるという事実である。 結果として得られる最適ルーティングポリシー、すなわち各ノードのエッジに従う確率分布はマルコビアンであり、入力と出力を所定の限界確率に制限することで計算される。
  論文  参考訳（メタデータ） (2021-08-23T08:25:51Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。