論文の概要: HMOE: Hypernetwork-based Mixture of Experts for Domain Generalization

• arxiv url: http://arxiv.org/abs/2211.08253v1
• Date: Tue, 15 Nov 2022 15:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 13:05:43.868931
• Title: HMOE: Hypernetwork-based Mixture of Experts for Domain Generalization
• Title（参考訳）: HMOE: ドメイン一般化のためのハイパーネットワークベースのエキスパートの混合
• Authors: Jingang Qu, Thibault Faney, Ze Wang, Patrick Gallinari, Soleiman Yousef, Jean-Charles de Hemptinne
• Abstract要約: 我々は、ドメインラベルを必要としない、より解釈可能な、ハイパーネットワークベースのMixture of Experts (MoE) という新しいDG手法を提案する。 MoEはハイパーネットを使って専門家の体重を生成し、専門家が役に立つメタ知識を共有できるようにする。 HMOEは、混合ドメインのデータから潜在ドメイン発見を行い、それを元のドメインラベルよりも驚くほど人間の直感に一貫性のある異なるクラスタに分割できることを示す。
• 参考スコア（独自算出の注目度）: 15.99335505151773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the domain shift, machine learning systems typically fail to generalize well to domains different from those of training data, which is the problem that domain generalization (DG) aims to address. However, most mainstream DG algorithms lack interpretability and require domain labels, which are not available in many real-world scenarios. In this work, we propose a novel DG method, HMOE: Hypernetwork-based Mixture of Experts (MoE), that does not require domain labels and is more interpretable. We use hypernetworks to generate the weights of experts, allowing experts to share some useful meta-knowledge. MoE has proven adept at detecting and identifying heterogeneous patterns in data. For DG, heterogeneity exactly arises from the domain shift. We compare HMOE with other DG algorithms under a fair and unified benchmark-DomainBed. Extensive experiments show that HMOE can perform latent domain discovery from data of mixed domains and divide it into distinct clusters that are surprisingly more consistent with human intuition than original domain labels. Compared to other DG methods, HMOE shows competitive performance and achieves SOTA results in some cases without using domain labels.
• Abstract（参考訳）: ドメインシフトのため、マシンラーニングシステムは、通常、トレーニングデータとは異なるドメインにうまく一般化することができず、ドメイン一般化(DG)が解決しようとしている問題である。 しかし、ほとんどの主流のDGアルゴリズムは解釈可能性に欠けており、多くの実世界のシナリオでは利用できないドメインラベルを必要とする。 本研究では、ドメインラベルを必要とせず、より解釈可能な新しいDG手法、HMOE: Hypernetwork-based Mixture of Experts (MoE)を提案する。 ハイパーネットワークを使って専門家の重みを作り、専門家が役に立つメタ知識を共有できるようにしています。 moeはデータの異種パターンの検出と識別に長けている。 DG の場合、不均一性はドメインシフトから正確に生じる。 HMOEと他のDGアルゴリズムを公平で統一されたベンチマーク-DomainBedで比較する。 広範な実験により、hmoeは混合ドメインのデータから潜在ドメイン発見を実行し、元のドメインラベルよりも人間の直観と驚くほど一貫性のある別々のクラスタに分割できることが示されている。 他のDG手法と比較して、HMOEは競合性能を示し、ドメインラベルを使わずにSOTA結果を達成する。

関連論文リスト

• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• MADG: Margin-based Adversarial Learning for Domain Generalization [25.45950080930517]
  そこで本稿では,差分損失に基づく離散性尺度に基づく新しい逆学習DGアルゴリズムMADGを提案する。 提案したMADGモデルは,すべてのソースドメインにまたがるドメイン不変の特徴を学習し,敵対的トレーニングを用いて,未知のターゲットドメインによく適応する。 我々は、人気のある実世界のDGデータセット上でMADGモデルを広範囲に実験した。
  論文  参考訳（メタデータ） (2023-11-14T19:53:09Z)
• Federated Domain Generalization: A Survey [12.84261944926547]
  機械学習では、データはさまざまなデバイス、組織、エッジノードに分散されることが多い。 この課題に応えて、連邦領域の一般化への関心が高まっている。 本稿では,この領域における最近の進歩に関する最初の調査について述べる。
  論文  参考訳（メタデータ） (2023-06-02T07:55:42Z)
• FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
  ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。 一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。 我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。 提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
  論文  参考訳（メタデータ） (2022-11-07T09:38:34Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Reappraising Domain Generalization in Neural Networks [8.06370138649329]
  機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。 経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。 そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
  論文  参考訳（メタデータ） (2021-10-15T10:06:40Z)
• Open Domain Generalization with Domain-Augmented Meta-Learning [83.59952915761141]
  オープンドメイン一般化(OpenDG)の新しい実践的問題について研究する。 本稿では,オープンドメイン一般化表現を学ぶためのメタ学習フレームワークを提案する。 種々のマルチドメインデータセットの実験結果から、提案したドメイン拡張メタラーニング(DAML)が、未確認ドメイン認識の先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-08T09:12:24Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。