論文の概要: Towards Optimization and Model Selection for Domain Generalization: A Mixup-guided Solution

• arxiv url: http://arxiv.org/abs/2209.00652v1
• Date: Thu, 1 Sep 2022 02:18:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:39:38.546091
• Title: Towards Optimization and Model Selection for Domain Generalization: A Mixup-guided Solution
• Title（参考訳）: ドメイン一般化のための最適化とモデル選択:混合誘導解
• Authors: Wang Lu, Jindong Wang, Yidong Wang, Kan Ren, Yiqiang Chen, Xing Xie
• Abstract要約: そこで本研究では,ドメイン一般化のためのMixupガイドによる最適化と選択手法を提案する。 最適化のために、最適化されたMixupを使用して、アウト・オブ・ディストリビューションデータセットを生成する。 モデル選択のために、ターゲット分布に近づいた検証データセットを生成する。
• 参考スコア（独自算出の注目度）: 29.188849961045804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The distribution shifts between training and test data typically undermine the performance of deep learning models. In recent years, lots of work pays attention to domain generalization (DG) where distribution shift exists and target data are unseen. Despite the progress in algorithm design, two foundational factors have long been ignored: 1) the optimization for regularization-based objectives (e.g., distribution alignment), and 2) the model selection for DG since no knowledge about the target domain can be utilized. In this paper, we propose Mixup guided optimization and selection techniques for domain generalization. For optimization, we utilize an adapted Mixup to generate an out-of-distribution dataset that can guide the preference direction and optimize with Pareto optimization. For model selection, we generate a validation dataset with a closer distance to the target distribution, and thereby it can better represent the target data. We also present some theoretical insights behind our proposals. Comprehensive experiments on one visual classification benchmark and three time-series benchmarks demonstrate that our model optimization and selection techniques can largely improve the performance of existing domain generalization algorithms and even achieve new state-of-the-art results.
• Abstract（参考訳）: トレーニングとテストデータの分散シフトは、一般的にディープラーニングモデルのパフォーマンスを損なう。 近年,分散シフトが存在する領域一般化(DG)や,対象データに見当たらない領域一般化に多くの作業が注がれている。 アルゴリズム設計の進歩にもかかわらず、2つの基本的な要素は長い間無視されてきた。 1)正規化に基づく目標(分布アライメントなど)の最適化、及び 2) DG のモデル選択は対象領域に関する知識を利用できないためである。 本稿では,ドメイン一般化のためのMixup Guided Optimizationと選択手法を提案する。 最適化のために、適応したミックスアップを使用して、好みの方向を導き、pareto最適化で最適化できる分散データセットを生成する。 モデル選択のために、ターゲット分布との距離が近い検証データセットを生成し、ターゲットデータをよりよく表現できる。 提案の背後にある理論的洞察も提示する。 1つの視覚分類ベンチマークと3つの時系列ベンチマークによる総合的な実験により、我々のモデル最適化と選択技術は、既存の領域一般化アルゴリズムの性能を大幅に改善し、新しい最先端の結果も達成できることを示した。

関連論文リスト

• Empirical Study on Optimizer Selection for Out-of-Distribution Generalization [16.386766049451314]
  現代のディープラーニングシステムは脆弱であり、分散シフト下では十分に一般化されていない。 本研究では,分布シフトの異なるクラスに対して,一般的な一階述語一般化の性能について検討する。
  論文  参考訳（メタデータ） (2022-11-15T23:56:30Z)
• Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
  確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
  論文  参考訳（メタデータ） (2022-10-19T08:41:19Z)
• Bayesian Optimization with Informative Covariance [13.113313427848828]
  探索空間の特定の領域の好みを符号化するために非定常性を利用する新しい情報共分散関数を提案する。 より弱い事前情報の下でも高次元での最適化のサンプル効率を向上できることを実証する。
  論文  参考訳（メタデータ） (2022-08-04T15:05:11Z)
• S$^3$VAADA: Submodular Subset Selection for Virtual Adversarial Active Domain Adaptation [49.01925978752677]
  現実のシナリオでは、少数のターゲットデータに対してラベルを取得することは可能かもしれません。 我々は,S$3$VAADAを提案する。これは,ラベルに対する最大情報サブセットを選択するための,新しいサブモジュール基準を導入し,また,クラスタベースのDA手順を強化する。 我々のアプローチは、ドメインシフトの度合いの異なるデータセットにおいて、競合する最先端のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-09-18T10:53:57Z)
• A Federated Data-Driven Evolutionary Algorithm for Expensive Multi/Many-objective Optimization [11.92436948211501]
  本稿では,フェデレートされたデータ駆動型進化的多目的/多目的最適化アルゴリズムを提案する。 複数のクライアントが協調してラジアル・ベーシ関数ネットワークをグローバルなサロゲートとしてトレーニングできるように、サロゲート構築のためのフェデレートラーニングを活用している。 グローバルサロゲートを用いて目的値を近似し、近似された目標値の不確かさレベルを推定するために、中央サーバに新たなフェデレーション獲得関数を提案する。
  論文  参考訳（メタデータ） (2021-06-22T22:33:24Z)
• Gradient Matching for Domain Generalization [93.04545793814486]
  機械学習システムの重要な要件は、見えないドメインに一般化する能力です。 ドメインの一般化を目標とするドメイン間勾配マッチングの目的を提案する。 我々は、その最適化を近似する単純な一階アルゴリズムfishを導出する。
  論文  参考訳（メタデータ） (2021-04-20T12:55:37Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)
• Domain Adaptive Person Re-Identification via Coupling Optimization [58.567492812339566]
  ドメイン適応型人物再識別(ReID)は、ドメインのギャップとターゲットシナリオに対するアノテーションの不足のために困難である。 本稿では,ドメイン不変写像 (DIM) 法とグローバル局所距離最適化 (GLO) を含む結合最適化手法を提案する。 GLOはターゲットドメインの教師なし設定でReIDモデルをトレーニングするために設計されている。
  論文  参考訳（メタデータ） (2020-11-06T14:01:03Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)
• Practical Bayesian Optimization of Objectives with Conditioning Variables [1.0497128347190048]
  ユーザが複数の問題に直面している場合、状態変数に対してそれぞれを条件付きで最適化する必要がある場合を考える。 目的間の類似性は、それぞれの目的を2つの方法で最適化する。 本稿では条件最適化のためのフレームワークであるConBOを提案する。
  論文  参考訳（メタデータ） (2020-02-23T22:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。