論文の概要: HMOE: Hypernetwork-based Mixture of Experts for Domain Generalization

• arxiv url: http://arxiv.org/abs/2211.08253v3
• Date: Tue, 14 Nov 2023 11:16:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 19:25:01.058846
• Title: HMOE: Hypernetwork-based Mixture of Experts for Domain Generalization
• Title（参考訳）: HMOE: ドメイン一般化のためのハイパーネットワークベースのエキスパートの混合
• Authors: Jingang Qu, Thibault Faney, Ze Wang, Patrick Gallinari, Soleiman Yousef, Jean-Charles de Hemptinne
• Abstract要約: HMOEはドメインラベルに依存しない機械学習手法であり、より解釈可能である。 実験の結果,HMOEは混合ドメインデータを異なるクラスタに効果的に分離できることがわかった。 HMOEは自己学習したドメイン情報を使用して、ほとんどのデータセットで最先端の結果を達成する。
• 参考スコア（独自算出の注目度）: 23.603261352823584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to domain shifts, machine learning systems typically struggle to generalize well to new domains that differ from those of training data, which is what domain generalization (DG) aims to address. Although a variety of DG methods have been proposed, most of them fall short in interpretability and require domain labels, which are not available in many real-world scenarios. This paper presents a novel DG method, called HMOE: Hypernetwork-based Mixture of Experts (MoE), which does not rely on domain labels and is more interpretable. MoE proves effective in identifying heterogeneous patterns in data. For the DG problem, heterogeneity arises exactly from domain shifts. HMOE employs hypernetworks taking vectors as input to generate the weights of experts, which promotes knowledge sharing among experts and enables the exploration of their similarities in a low-dimensional vector space. We benchmark HMOE against other DG methods under a fair evaluation framework -- DomainBed. Our extensive experiments show that HMOE can effectively separate mixed-domain data into distinct clusters that are surprisingly more consistent with human intuition than original domain labels. Using self-learned domain information, HMOE achieves state-of-the-art results on most datasets and significantly surpasses other DG methods in average accuracy across all datasets.
• Abstract（参考訳）: ドメインシフトのため、機械学習システムは一般的に、トレーニングデータと異なる新しいドメインへの一般化に苦労している。 様々なDG手法が提案されているが、そのほとんどは解釈性に乏しく、多くの実世界のシナリオでは利用できないドメインラベルを必要とする。 本稿では、ドメインラベルに依存しないHMOE: Hypernetwork-based Mixture of Experts (MoE)と呼ばれる新しいDG手法を提案する。 MoEはデータの異種パターンを特定するのに有効である。 DG問題に対して、不均一性はドメインシフトから生じる。 hmoeは、専門家の重み付けを生成するためにベクトルを入力とするハイパーネットワークを採用しており、専門家間の知識共有を促進し、低次元ベクトル空間におけるそれらの類似性を探求することができる。 公平な評価フレームワーク -DomainBed の下で,HMOE を他の DG メソッドと比較した。 我々の広範な実験により、HMOEは混合ドメインデータを、元のドメインラベルよりも驚くほど人間の直感に整合した、異なるクラスタに効果的に分離できることが示された。 HMOEは自己学習したドメイン情報を使用して、ほとんどのデータセットで最先端の結果を達成し、すべてのデータセットの平均精度で他のDGメソッドを大幅に上回る。

関連論文リスト

• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• MADG: Margin-based Adversarial Learning for Domain Generalization [25.45950080930517]
  そこで本稿では,差分損失に基づく離散性尺度に基づく新しい逆学習DGアルゴリズムMADGを提案する。 提案したMADGモデルは,すべてのソースドメインにまたがるドメイン不変の特徴を学習し,敵対的トレーニングを用いて,未知のターゲットドメインによく適応する。 我々は、人気のある実世界のDGデータセット上でMADGモデルを広範囲に実験した。
  論文  参考訳（メタデータ） (2023-11-14T19:53:09Z)
• Federated Domain Generalization: A Survey [12.84261944926547]
  機械学習では、データはさまざまなデバイス、組織、エッジノードに分散されることが多い。 この課題に応えて、連邦領域の一般化への関心が高まっている。 本稿では,この領域における最近の進歩に関する最初の調査について述べる。
  論文  参考訳（メタデータ） (2023-06-02T07:55:42Z)
• FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
  ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。 一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。 我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。 提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
  論文  参考訳（メタデータ） (2022-11-07T09:38:34Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Reappraising Domain Generalization in Neural Networks [8.06370138649329]
  機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。 経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。 そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
  論文  参考訳（メタデータ） (2021-10-15T10:06:40Z)
• Open Domain Generalization with Domain-Augmented Meta-Learning [83.59952915761141]
  オープンドメイン一般化(OpenDG)の新しい実践的問題について研究する。 本稿では,オープンドメイン一般化表現を学ぶためのメタ学習フレームワークを提案する。 種々のマルチドメインデータセットの実験結果から、提案したドメイン拡張メタラーニング(DAML)が、未確認ドメイン認識の先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-08T09:12:24Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。