論文の概要: Robust Optimal Transport with Applications in Generative Modeling and
Domain Adaptation
- arxiv url: http://arxiv.org/abs/2010.05862v1
- Date: Mon, 12 Oct 2020 17:13:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 06:14:52.514701
- Title: Robust Optimal Transport with Applications in Generative Modeling and
Domain Adaptation
- Title(参考訳): ロバスト最適輸送と生成モデリングとドメイン適応への応用
- Authors: Yogesh Balaji, Rama Chellappa and Soheil Feizi
- Abstract要約: ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。
本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。
提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
- 参考スコア(独自算出の注目度): 120.69747175899421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimal Transport (OT) distances such as Wasserstein have been used in
several areas such as GANs and domain adaptation. OT, however, is very
sensitive to outliers (samples with large noise) in the data since in its
objective function, every sample, including outliers, is weighed similarly due
to the marginal constraints. To remedy this issue, robust formulations of OT
with unbalanced marginal constraints have previously been proposed. However,
employing these methods in deep learning problems such as GANs and domain
adaptation is challenging due to the instability of their dual optimization
solvers. In this paper, we resolve these issues by deriving a
computationally-efficient dual form of the robust OT optimization that is
amenable to modern deep learning applications. We demonstrate the effectiveness
of our formulation in two applications of GANs and domain adaptation. Our
approach can train state-of-the-art GAN models on noisy datasets corrupted with
outlier distributions. In particular, our optimization computes weights for
training samples reflecting how difficult it is for those samples to be
generated in the model. In domain adaptation, our robust OT formulation leads
to improved accuracy compared to the standard adversarial adaptation methods.
Our code is available at https://github.com/yogeshbalaji/robustOT.
- Abstract(参考訳): ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。
しかし、otはデータ内の外れ値(ノイズの多いサンプル)に非常に敏感であり、目的関数では、外れ値を含むすべてのサンプルは限界制約のため同様に重み付けされる。
この問題を解決するために、未均衡な限界制約を持つOTの堅牢な定式化が提案されている。
しかし、これらの手法をGANやドメイン適応といったディープラーニング問題に応用することは、その双対最適化解法の不安定性のために困難である。
本稿では,最新の深層学習アプリケーションに適用可能なロバストot最適化の計算効率の高い2重形式を導出することにより,これらの問題を解決する。
我々は、GANとドメイン適応の2つの応用において、我々の定式化の有効性を示す。
提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
特にこの最適化では,モデル内で生成するサンプルの難易度を反映して,サンプルのトレーニングに重みを計算します。
ドメイン適応では, 標準逆適応法と比較して, 頑健なot定式化により精度が向上した。
私たちのコードはhttps://github.com/yogeshbalaji/robustotで利用可能です。
関連論文リスト
- Learning Constrained Optimization with Deep Augmented Lagrangian Methods [60.94111369773497]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳(メタデータ) (2024-03-06T04:43:22Z) - Sparse Variational Student-t Processes [8.46450148172407]
学生Tプロセスは、重い尾の分布とデータセットをアウトリーチでモデル化するために使用される。
本研究では,学生プロセスが現実のデータセットに対してより柔軟になるためのスパース表現フレームワークを提案する。
UCIとKaggleの様々な合成および実世界のデータセットに対する2つの提案手法の評価を行った。
論文 参考訳(メタデータ) (2023-12-09T12:55:20Z) - Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。
IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。
提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
論文 参考訳(メタデータ) (2023-09-25T15:56:01Z) - Generative Modeling through the Semi-dual Formulation of Unbalanced
Optimal Transport [9.980822222343921]
非平衡最適輸送(UOT)の半二重定式化に基づく新しい生成モデルを提案する。
OTとは異なり、UOTは分散マッチングの厳しい制約を緩和する。このアプローチは、外れ値に対する堅牢性、トレーニング中の安定性、より高速な収束を提供する。
CIFAR-10ではFIDスコアが2.97、CelebA-HQ-256では6.36である。
論文 参考訳(メタデータ) (2023-05-24T06:31:05Z) - Implicit Bayes Adaptation: A Collaborative Transport Approach [25.96406219707398]
領域適応は、高次元ユークリッド空間に埋め込まれた非線型部分多様体に本質的に横たわる各データの固有表現に根付いていることを示す。
これは暗黙のベイズ的フレームワークに準じるものであり、ドメイン適応に対するより堅牢で優れたパフォーマンスのアプローチで実現可能であることを示す。
論文 参考訳(メタデータ) (2023-04-17T14:13:40Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳(メタデータ) (2022-07-08T18:17:06Z) - RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。
この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。
ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
論文 参考訳(メタデータ) (2021-10-27T05:37:12Z) - Model Selection for Bayesian Autoencoders [25.619565817793422]
本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。
我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。
我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2021-06-11T08:55:00Z) - Efficient Robust Optimal Transport with Application to Multi-Label
Classification [12.521494095948068]
OTコスト関数における対称正の半定値マハラノビス計量を用いて特徴-特徴関係をモデル化する。
結果の最適化問題を非線形OT問題とみなし,Frank-Wolfeアルゴリズムを用いて解く。
タグ予測や多クラス分類などの識別学習環境における実証的な結果から,本手法の有効性が示唆された。
論文 参考訳(メタデータ) (2020-10-22T16:43:52Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。