論文の概要: Optimal Transport Model Distributional Robustness
- arxiv url: http://arxiv.org/abs/2306.04178v2
- Date: Wed, 1 Nov 2023 05:55:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 17:27:58.613283
- Title: Optimal Transport Model Distributional Robustness
- Title(参考訳): 最適輸送モデル分布ロバスト性
- Authors: Van-Anh Nguyen, Trung Le, Anh Tuan Bui, Thanh-Toan Do, and Dinh Phung
- Abstract要約: これまでの研究は主に、データ空間における分散ロバスト性を活用することに焦点を当ててきた。
我々は、最適なロバストな中心モデル分布を学習できる理論を開発する。
我々のフレームワークはSharpness-Aware Minimizationの確率的拡張と見なすことができる。
- 参考スコア(独自算出の注目度): 33.24747882707421
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributional robustness is a promising framework for training deep learning
models that are less vulnerable to adversarial examples and data distribution
shifts. Previous works have mainly focused on exploiting distributional
robustness in the data space. In this work, we explore an optimal
transport-based distributional robustness framework in model spaces.
Specifically, we examine a model distribution within a Wasserstein ball
centered on a given model distribution that maximizes the loss. We have
developed theories that enable us to learn the optimal robust center model
distribution. Interestingly, our developed theories allow us to flexibly
incorporate the concept of sharpness awareness into training, whether it's a
single model, ensemble models, or Bayesian Neural Networks, by considering
specific forms of the center model distribution. These forms include a Dirac
delta distribution over a single model, a uniform distribution over several
models, and a general Bayesian Neural Network. Furthermore, we demonstrate that
Sharpness-Aware Minimization (SAM) is a specific case of our framework when
using a Dirac delta distribution over a single model, while our framework can
be seen as a probabilistic extension of SAM. To validate the effectiveness of
our framework in the aforementioned settings, we conducted extensive
experiments, and the results reveal remarkable improvements compared to the
baselines.
- Abstract(参考訳): 分散ロバスト性は、敵対的な例やデータ分散シフトに弱いディープラーニングモデルをトレーニングするための有望なフレームワークである。
これまでの研究は主に、データ空間における分散ロバスト性を活用することに焦点を当ててきた。
本研究では,モデル空間における最適輸送に基づく分布ロバスト性フレームワークについて検討する。
具体的には, 損失を最大化するモデル分布に着目したワッサースタイン球内のモデル分布について検討する。
我々は、最適なロバストな中心モデル分布を学習できる理論を開発した。
興味深いことに、我々の発達した理論は、中心モデル分布の特定の形式を考慮して、単一のモデル、アンサンブルモデル、ベイズニューラルネットワークなど、シャープネス認知の概念を訓練に柔軟に組み込むことができる。
これらの形式には、1つのモデル上のディラックデルタ分布、複数のモデル上の均一分布、一般的なベイズニューラルネットワークが含まれる。
さらに,シャープネス・アウェアの最小化 (SAM) が単一モデル上でのディラックデルタ分布を用いた場合の,我々のフレームワークがSAMの確率的拡張であることを示す。
このフレームワークの有効性を検証するために,我々は広範囲な実験を行い,ベースラインと比較して顕著な改善が得られた。
関連論文リスト
- Towards Theoretical Understandings of Self-Consuming Generative Models [60.98692028151328]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
我々は拡散モデルに一般結果を特化し、自己消費ループ内での最適な早期停止の有効性などの微妙な洞察を提供する。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:11Z) - Enhancing Robustness of Foundation Model Representations under
Provenance-related Distribution Shifts [8.298173603769063]
分布シフト下における基礎モデルに基づくモデルの安定性について検討する。
我々は,多施設データセットの文脈に現れる分布シフトの形式である,証明によるコンバウンディングに焦点をあてる。
その結果, 基礎モデルでは, コンバウンド・バイ・プロビデンス関係の分布シフトに対して, ある程度の頑健性を示すが, 調整により改善できることがわかった。
論文 参考訳(メタデータ) (2023-12-09T02:02:45Z) - Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。
本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
論文 参考訳(メタデータ) (2023-09-16T00:54:57Z) - Improving Generative Model-based Unfolding with Schr\"{o}dinger Bridges [14.989614554242229]
機械学習に基づく展開により、未結合かつ高次元の断面積測定が可能になった。
我々はシュレーディンガーブリッジと拡散モデルを用いてSBUnfoldを作成することを提案する。
SBUnfoldは,合成Z+jetsデータセット上でのアート手法の状態と比較して,優れた性能を示すことを示す。
論文 参考訳(メタデータ) (2023-08-23T18:01:01Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Siamese Neural Network with Joint Bayesian Model Structure for Speaker
Verification [54.96267179988487]
本稿では,話者検証のための新しいサイムズニューラルネットワーク(SiamNN)を提案する。
サンプルの結合分布は、JB(Joint Bayesian)に基づく生成モデルに基づいて最初に定式化される。
話者照合のための二項識別タスクとして,ペアワイズしたサンプルを用いてモデルパラメータを訓練する。
論文 参考訳(メタデータ) (2021-04-07T09:17:29Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳(メタデータ) (2021-02-14T03:37:22Z) - Generalization Properties of Optimal Transport GANs with Latent
Distribution Learning [52.25145141639159]
本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。
我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
論文 参考訳(メタデータ) (2020-07-29T07:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。