論文の概要: Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation

• arxiv url: http://arxiv.org/abs/2010.05862v1
• Date: Mon, 12 Oct 2020 17:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:14:52.514701
• Title: Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation
• Title（参考訳）: ロバスト最適輸送と生成モデリングとドメイン適応への応用
• Authors: Yogesh Balaji, Rama Chellappa and Soheil Feizi
• Abstract要約: ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。 本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。 提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
• 参考スコア（独自算出の注目度）: 120.69747175899421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimal Transport (OT) distances such as Wasserstein have been used in several areas such as GANs and domain adaptation. OT, however, is very sensitive to outliers (samples with large noise) in the data since in its objective function, every sample, including outliers, is weighed similarly due to the marginal constraints. To remedy this issue, robust formulations of OT with unbalanced marginal constraints have previously been proposed. However, employing these methods in deep learning problems such as GANs and domain adaptation is challenging due to the instability of their dual optimization solvers. In this paper, we resolve these issues by deriving a computationally-efficient dual form of the robust OT optimization that is amenable to modern deep learning applications. We demonstrate the effectiveness of our formulation in two applications of GANs and domain adaptation. Our approach can train state-of-the-art GAN models on noisy datasets corrupted with outlier distributions. In particular, our optimization computes weights for training samples reflecting how difficult it is for those samples to be generated in the model. In domain adaptation, our robust OT formulation leads to improved accuracy compared to the standard adversarial adaptation methods. Our code is available at https://github.com/yogeshbalaji/robustOT.
• Abstract（参考訳）: ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。 しかし、otはデータ内の外れ値(ノイズの多いサンプル)に非常に敏感であり、目的関数では、外れ値を含むすべてのサンプルは限界制約のため同様に重み付けされる。 この問題を解決するために、未均衡な限界制約を持つOTの堅牢な定式化が提案されている。 しかし、これらの手法をGANやドメイン適応といったディープラーニング問題に応用することは、その双対最適化解法の不安定性のために困難である。 本稿では,最新の深層学習アプリケーションに適用可能なロバストot最適化の計算効率の高い2重形式を導出することにより,これらの問題を解決する。 我々は、GANとドメイン適応の2つの応用において、我々の定式化の有効性を示す。 提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。 特にこの最適化では,モデル内で生成するサンプルの難易度を反映して,サンプルのトレーニングに重みを計算します。 ドメイン適応では, 標準逆適応法と比較して, 頑健なot定式化により精度が向上した。 私たちのコードはhttps://github.com/yogeshbalaji/robustotで利用可能です。

関連論文リスト

• Unsupervised Domain Adaptation Via Data Pruning [0.0]
  非教師なし領域適応(UDA)の観点から問題を考える。 本稿では,UDAのトレーニング例を取り除き,トレーニング分布を対象データと整合させる手法であるAdaPruneを提案する。 UDAの手法として、AdaPruneは関連する技術より優れており、CoRALなどの他のUDAアルゴリズムと相補的であることを示す。
  論文  参考訳（メタデータ） (2024-09-18T15:48:59Z)
• Two-Stage ML-Guided Decision Rules for Sequential Decision Making under Uncertainty [55.06411438416805]
  SDMU (Sequential Decision Making Under Uncertainty) は、エネルギー、金融、サプライチェーンといった多くの領域において、ユビキタスである。 いくつかのSDMUは、自然にマルチステージ問題(MSP)としてモデル化されているが、結果として得られる最適化は、計算の観点からは明らかに困難である。 本稿では,2段階の一般決定規則(TS-GDR)を導入し,線形関数を超えて政策空間を一般化する手法を提案する。 TS-GDRの有効性は、TS-LDR(Two-Stage Deep Decision Rules)と呼ばれるディープリカレントニューラルネットワークを用いたインスタンス化によって実証される。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Enhanced Online Test-time Adaptation with Feature-Weight Cosine Alignment [7.991720491452191]
  オンラインテスト時間適応(OTTA)は、分散シフトを扱う効果的な戦略として登場した。 本稿では,双対目的損失関数を用いたコサインアライメント最適化手法を提案する。 提案手法は最先端技術より優れ,複数のデータセットに新しいベンチマークを設定できる。
  論文  参考訳（メタデータ） (2024-05-12T05:57:37Z)
• Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
  機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。 本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。 これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T04:43:22Z)
• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• Sample-Efficient and Surrogate-Based Design Optimization of Underwater Vehicle Hulls [0.4543820534430522]
  本稿では,BO-LCBアルゴリズムが最もサンプリング効率のよい最適化フレームワークであり,最適収束挙動を有することを示す。 また, DNN に基づく代理モデルでは, CFD シミュレーションと密に一致し, 平均絶対パーセンテージ誤差 (MAPE) が 1.85% であることを示す。 本稿では,サロゲートモデルを用いた設計最適化の2次高速化について述べる。
  論文  参考訳（メタデータ） (2023-04-24T19:52:42Z)
• Implicit Bayes Adaptation: A Collaborative Transport Approach [25.96406219707398]
  領域適応は、高次元ユークリッド空間に埋め込まれた非線型部分多様体に本質的に横たわる各データの固有表現に根付いていることを示す。 これは暗黙のベイズ的フレームワークに準じるものであり、ドメイン適応に対するより堅牢で優れたパフォーマンスのアプローチで実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-17T14:13:40Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。