論文の概要: Optimal Transport Model Distributional Robustness

• arxiv url: http://arxiv.org/abs/2306.04178v2
• Date: Wed, 1 Nov 2023 05:55:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 17:27:58.613283
• Title: Optimal Transport Model Distributional Robustness
• Title（参考訳）: 最適輸送モデル分布ロバスト性
• Authors: Van-Anh Nguyen, Trung Le, Anh Tuan Bui, Thanh-Toan Do, and Dinh Phung
• Abstract要約: これまでの研究は主に、データ空間における分散ロバスト性を活用することに焦点を当ててきた。 我々は、最適なロバストな中心モデル分布を学習できる理論を開発する。 我々のフレームワークはSharpness-Aware Minimizationの確率的拡張と見なすことができる。
• 参考スコア（独自算出の注目度）: 33.24747882707421
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributional robustness is a promising framework for training deep learning models that are less vulnerable to adversarial examples and data distribution shifts. Previous works have mainly focused on exploiting distributional robustness in the data space. In this work, we explore an optimal transport-based distributional robustness framework in model spaces. Specifically, we examine a model distribution within a Wasserstein ball centered on a given model distribution that maximizes the loss. We have developed theories that enable us to learn the optimal robust center model distribution. Interestingly, our developed theories allow us to flexibly incorporate the concept of sharpness awareness into training, whether it's a single model, ensemble models, or Bayesian Neural Networks, by considering specific forms of the center model distribution. These forms include a Dirac delta distribution over a single model, a uniform distribution over several models, and a general Bayesian Neural Network. Furthermore, we demonstrate that Sharpness-Aware Minimization (SAM) is a specific case of our framework when using a Dirac delta distribution over a single model, while our framework can be seen as a probabilistic extension of SAM. To validate the effectiveness of our framework in the aforementioned settings, we conducted extensive experiments, and the results reveal remarkable improvements compared to the baselines.
• Abstract（参考訳）: 分散ロバスト性は、敵対的な例やデータ分散シフトに弱いディープラーニングモデルをトレーニングするための有望なフレームワークである。 これまでの研究は主に、データ空間における分散ロバスト性を活用することに焦点を当ててきた。 本研究では,モデル空間における最適輸送に基づく分布ロバスト性フレームワークについて検討する。 具体的には, 損失を最大化するモデル分布に着目したワッサースタイン球内のモデル分布について検討する。 我々は、最適なロバストな中心モデル分布を学習できる理論を開発した。 興味深いことに、我々の発達した理論は、中心モデル分布の特定の形式を考慮して、単一のモデル、アンサンブルモデル、ベイズニューラルネットワークなど、シャープネス認知の概念を訓練に柔軟に組み込むことができる。 これらの形式には、1つのモデル上のディラックデルタ分布、複数のモデル上の均一分布、一般的なベイズニューラルネットワークが含まれる。 さらに,シャープネス・アウェアの最小化 (SAM) が単一モデル上でのディラックデルタ分布を用いた場合の,我々のフレームワークがSAMの確率的拡張であることを示す。 このフレームワークの有効性を検証するために,我々は広範囲な実験を行い,ベースラインと比較して顕著な改善が得られた。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• Latent Schr{ö}dinger Bridge Diffusion Model for Generative Learning [7.13080924844185]
  潜在空間におけるシュリンガー橋拡散モデルを用いた新しい生成学習手法を提案する。 我々は、Schr"odingerブリッジフレームワークを用いて、潜伏空間内の拡散モデルを開発する。
  論文  参考訳（メタデータ） (2024-04-20T07:38:48Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Enhancing Robustness of Foundation Model Representations under Provenance-related Distribution Shifts [8.298173603769063]
  分布シフト下における基礎モデルに基づくモデルの安定性について検討する。 我々は,多施設データセットの文脈に現れる分布シフトの形式である,証明によるコンバウンディングに焦点をあてる。 その結果, 基礎モデルでは, コンバウンド・バイ・プロビデンス関係の分布シフトに対して, ある程度の頑健性を示すが, 調整により改善できることがわかった。
  論文  参考訳（メタデータ） (2023-12-09T02:02:45Z)
• Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
  本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。 本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T00:54:57Z)
• Siamese Neural Network with Joint Bayesian Model Structure for Speaker Verification [54.96267179988487]
  本稿では,話者検証のための新しいサイムズニューラルネットワーク(SiamNN)を提案する。 サンプルの結合分布は、JB(Joint Bayesian)に基づく生成モデルに基づいて最初に定式化される。 話者照合のための二項識別タスクとして,ペアワイズしたサンプルを用いてモデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2021-04-07T09:17:29Z)
• Achieving Efficiency in Black Box Simulation of Distribution Tails with Self-structuring Importance Samplers [1.6114012813668934]
  本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:37:22Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。