論文の概要: HoMM: Higher-order Moment Matching for Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/1912.11976v1
• Date: Fri, 27 Dec 2019 03:53:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-10 00:17:35.017077
• Title: HoMM: Higher-order Moment Matching for Unsupervised Domain Adaptation
• Title（参考訳）: HoMM: 教師なしドメイン適応のための高次モーメントマッチング
• Authors: Chao Chen, Zhihang Fu, Zhihong Chen, Sheng Jin, Zhaowei Cheng, Xinyu Jin, Xian-Sheng Hua
• Abstract要約: 異なるドメイン間の特徴分布の相違を最小限にすることは、教師なしドメイン適応において最も有望な方向の1つである。 我々は高階モーメントマッチング(HoMM)法を提案し、さらにHMMを再現カーネルヒルベルト空間(RKHS)に拡張する。 提案するHoMMは,既存のモーメントマッチング手法を大きなマージンで一貫して上回っている。
• 参考スコア（独自算出の注目度）: 40.04775844604928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Minimizing the discrepancy of feature distributions between different domains is one of the most promising directions in unsupervised domain adaptation. From the perspective of distribution matching, most existing discrepancy-based methods are designed to match the second-order or lower statistics, which however, have limited expression of statistical characteristic for non-Gaussian distributions. In this work, we explore the benefits of using higher-order statistics (mainly refer to third-order and fourth-order statistics) for domain matching. We propose a Higher-order Moment Matching (HoMM) method, and further extend the HoMM into reproducing kernel Hilbert spaces (RKHS). In particular, our proposed HoMM can perform arbitrary-order moment tensor matching, we show that the first-order HoMM is equivalent to Maximum Mean Discrepancy (MMD) and the second-order HoMM is equivalent to Correlation Alignment (CORAL). Moreover, the third-order and the fourth-order moment tensor matching are expected to perform comprehensive domain alignment as higher-order statistics can approximate more complex, non-Gaussian distributions. Besides, we also exploit the pseudo-labeled target samples to learn discriminative representations in the target domain, which further improves the transfer performance. Extensive experiments are conducted, showing that our proposed HoMM consistently outperforms the existing moment matching methods by a large margin. Codes are available at \url{https://github.com/chenchao666/HoMM-Master}
• Abstract（参考訳）: 異なるドメイン間の特徴分布の差を最小化することは、教師なしドメイン適応において最も有望な方向の1つである。 分布マッチングの観点からは、既存の非ガウス分布に対する統計特性の限定的な表現を持つ2次または低い統計量に対応するように、既存の不一致に基づく手法がほとんどである。 本研究では,高次統計量(主に3次・4次統計量)をドメインマッチングに用いる利点について検討する。 本稿では,高次モーメントマッチング(HoMM)法を提案し,さらにHMMをカーネルヒルベルト空間(RKHS)に拡張する。 特に,提案したHoMMは任意の次モーメントテンソルマッチングを行うことができ,第1次HoMMは最大平均離散(MMD)と等価であり,第2次HoMMは相関アライメント(CORAL)と等価であることを示す。 さらに、3階と4階のモーメントテンソルマッチングは、より複雑な非ガウス分布を近似できるので、包括的な領域アライメントが期待できる。 さらに、擬似ラベル付きターゲットサンプルを利用して、対象領域における識別表現を学習し、転送性能をさらに向上する。 大規模な実験を行い,提案したHoMMが既存のモーメントマッチング手法よりずっと優れていることを示した。 コードは \url{https://github.com/chenchao666/HoMM-Master} で入手できる。

関連論文リスト

• Clustering-Based Validation Splits for Model Selection under Domain Shift [0.0]
  トレーニングバリデーション分割は2つのセット間の分布ミスマッチを最大化するべきである。 線形プログラミングを利用してスプリットのサイズ、ラベル、および(任意に)グループ分布を制御する制約付きクラスタリングアルゴリズムを示す。
  論文  参考訳（メタデータ） (2024-05-29T19:21:17Z)
• Batch and match: black-box variational inference with a score-based divergence [26.873037094654826]
  スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。 ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
  論文  参考訳（メタデータ） (2024-02-22T18:20:22Z)
• SGMM: Stochastic Approximation to Generalized Method of Moments [8.48870560391056]
  本稿では,モーメントの一般化法 (Generalized Method of Moments, SGMM) というアルゴリズムを導入し, モーメント制約モデルの推定と推定を行う。 我々のSGMMは、人気のあるHansen (1982) (オフライン) GMMの新たな近似であり、ストリーミングデータセットをリアルタイムに処理できる高速でスケーラブルな実装を提供する。
  論文  参考訳（メタデータ） (2023-08-25T00:22:45Z)
• Score-Based Diffusion meets Annealed Importance Sampling [89.92133671626327]
  Annealed Importance Smpling はいまだに限界推定の最も効果的な方法の1つである。 我々は、スコアベース生成モデルにおける最近の進歩を活用し、AIS提案の最適拡張目標分布を近似する。
  論文  参考訳（メタデータ） (2022-08-16T12:13:29Z)
• Asymmetric Transfer Hashing with Adaptive Bipartite Graph Learning [95.54688542786863]
  既存のハッシュ法では、クエリと検索サンプルは同じドメイン内の同質な特徴空間にあると仮定する。 教師なし/半教師付き/教師付き実現のための非対称トランスファーハッシュ(ATH)フレームワークを提案する。 非対称ハッシュ関数と二部グラフを共同最適化することにより、知識伝達が達成できるだけでなく、特徴アライメントによる情報損失も回避できる。
  論文  参考訳（メタデータ） (2022-06-25T08:24:34Z)
• Meta-Learning Adversarial Bandits [49.094361442409785]
  本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。 敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。 我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
  論文  参考訳（メタデータ） (2022-05-27T17:40:32Z)
• Exact Feature Distribution Matching for Arbitrary Style Transfer and Domain Generalization [43.19170120544387]
  画像特徴の実験的累積分布関数 (eCDF) を正確にマッチングすることにより, EFDM (Exact Feature Distribution Matching) を実現する。 Sort-Matchingと呼ばれる高速なEHMアルゴリズムは、最小限のコストでEFDMをプラグ・アンド・プレイで実行するために使用される。 提案手法の有効性を,様々なASTタスクとDGタスクで検証し,新しい成果を実証した。
  論文  参考訳（メタデータ） (2022-03-15T09:18:14Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• DWMD: Dimensional Weighted Orderwise Moment Discrepancy for Domain-specific Hidden Representation Matching [21.651807102769954]
  この分野での鍵となる課題は、2つの同質領域間のデータ分散の差を測定するための計量を確立することである。 特徴表現マッチングのための次元重み付き次数次モーメント不一致(DWMD)と呼ばれる新しいモーメントベースの確率分布計量を提案する。 我々の計量関数は高次モーメントアライメントの級数を利用しており、理論的には我々のDWMD計量関数が誤りのないことを証明している。
  論文  参考訳（メタデータ） (2020-07-18T02:37:32Z)
• Learning to Match Distributions for Domain Adaptation [116.14838935146004]
  本稿では,ドメイン間分布マッチングを自動的に学習する学習 to Match (L2M)を提案する。 L2Mは、メタネットワークを用いてデータ駆動方式で分布整合損失を学習することにより、誘導バイアスを低減する。 公開データセットの実験は、SOTA法よりもL2Mの方が優れていることを裏付けている。
  論文  参考訳（メタデータ） (2020-07-17T03:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。