論文の概要: DWMD: Dimensional Weighted Orderwise Moment Discrepancy for
Domain-specific Hidden Representation Matching
- arxiv url: http://arxiv.org/abs/2007.09312v1
- Date: Sat, 18 Jul 2020 02:37:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 05:15:48.518306
- Title: DWMD: Dimensional Weighted Orderwise Moment Discrepancy for
Domain-specific Hidden Representation Matching
- Title（参考訳）: DWMD: ドメイン固有隠れ表現マッチングのための次元重み付きモーメント差分法
- Authors: Rongzhe Wei, Fa Zhang, Bo Dong and Qinghua Zheng
- Abstract要約: この分野での鍵となる課題は、2つの同質領域間のデータ分散の差を測定するための計量を確立することである。
特徴表現マッチングのための次元重み付き次数次モーメント不一致(DWMD)と呼ばれる新しいモーメントベースの確率分布計量を提案する。
我々の計量関数は高次モーメントアライメントの級数を利用しており、理論的には我々のDWMD計量関数が誤りのないことを証明している。
- 参考スコア（独自算出の注目度）: 21.651807102769954
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge transfer from a source domain to a different but semantically
related target domain has long been an important topic in the context of
unsupervised domain adaptation (UDA). A key challenge in this field is
establishing a metric that can exactly measure the data distribution
discrepancy between two homogeneous domains and adopt it in distribution
alignment, especially in the matching of feature representations in the hidden
activation space. Existing distribution matching approaches can be interpreted
as failing to either explicitly orderwise align higher-order moments or satisfy
the prerequisite of certain assumptions in practical uses. We propose a novel
moment-based probability distribution metric termed dimensional weighted
orderwise moment discrepancy (DWMD) for feature representation matching in the
UDA scenario. Our metric function takes advantage of a series for high-order
moment alignment, and we theoretically prove that our DWMD metric function is
error-free, which means that it can strictly reflect the distribution
differences between domains and is valid without any feature distribution
assumption. In addition, since the discrepancies between probability
distributions in each feature dimension are different, dimensional weighting is
considered in our function. We further calculate the error bound of the
empirical estimate of the DWMD metric in practical applications. Comprehensive
experiments on benchmark datasets illustrate that our method yields
state-of-the-art distribution metrics.
- Abstract（参考訳）: ソースドメインから異なるがセマンティックに関連付けられたターゲットドメインへの知識伝達は、教師なしドメイン適応(UDA)の文脈において、長い間重要なトピックであった。
この分野での重要な課題は、特に隠れ活性化空間における特徴表現のマッチングにおいて、2つの同質領域間のデータ分散の差を正確に測定し、分布アライメントにそれを適用できる計量を確立することである。
既存の分布マッチングアプローチは、高次モーメントを明示的に整列化できないか、実用上の前提条件を満たすかのどちらかであると解釈できる。
udaシナリオにおける特徴表現マッチングのための新しいモーメントベース確率分布メトリックである次元重み付き順序付けモーメント不一致(dwmd)を提案する。
我々の計量関数は高次モーメントアライメントの級数を利用しており、我々のDWMD計量関数が誤りのないことを理論的に証明している。
また,各特徴次元における確率分布の相違は異なるため,本関数では次元重み付けが考慮されている。
さらに,DWMD測度における経験的推定値の誤差境界を実用的に計算する。
ベンチマークデータセットに関する総合的な実験は、我々の手法が最先端の分布指標をもたらすことを示している。
関連論文リスト
- Domain Adaptation with Cauchy-Schwarz Divergence [39.36943882475589]
教師なし領域適応(UDA)問題にコーシー=シュワルツの発散を導入する。
CS発散は、Kulback-Leibler発散よりも理論上より厳密な一般化誤差を提供する。
距離距離測定および対角訓練に基づくUDAフレームワークにおいて,CSのばらつきが有用であることを示す。
論文 参考訳（メタデータ） (2024-05-30T12:01:12Z) - Domain Generalization with Small Data [27.040070085669086]
我々は,各データポイントを確率的埋め込みにマッピングすることで,確率的フレームワークに基づくドメイン不変表現を学習する。
提案手法は,分布上のテクスト分布の測定値(大域的視点アライメント)と分布に基づくコントラスト的セマンティックアライメント(コントラスト的セマンティックアライメント)を結合することができる。
論文 参考訳（メタデータ） (2024-02-09T02:59:08Z) - Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。
センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
論文 参考訳（メタデータ） (2023-09-05T22:33:02Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Cycle Consistent Probability Divergences Across Different Spaces [38.43511529063335]
確率分布の相違は、統計的推測と機械学習の核心にある。
本研究は, 異方性, 異方性, 異方性, 異なる空間上の分布をマッチングするための, アンバランスなモンジュ最適輸送定式化を提案する。
論文 参考訳（メタデータ） (2021-11-22T16:35:58Z) - Keep it Tighter -- A Story on Analytical Mean Embeddings [0.6445605125467574]
カーネル技術は、データサイエンスにおいて最も人気があり柔軟なアプローチの一つである。
平均埋め込みは、最大平均不一致(MMD)と呼ばれる分岐測度をもたらす。
本稿では,基礎となる分布の1つの平均埋め込みが解析的に利用可能である場合のMDD推定の問題に焦点をあてる。
論文 参考訳（メタデータ） (2021-10-15T21:29:27Z) - Instrumental Variable-Driven Domain Generalization with Unobserved
Confounders [53.735614014067394]
ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから、目に見えないターゲットドメインをうまく一般化できるモデルを学ぶことを目的としている。
観測不能な共同創設者のバイアスを2段階学習で除去し,インストゥルメンタル変数駆動型DG法(IV-DG)を提案する。
第1段階では、あるドメインの入力特徴の条件分布を他のドメインの入力特徴の条件分布として学習する。
第2段階では,ラベルと学習条件分布の関係を推定する。
論文 参考訳（メタデータ） (2021-10-04T13:32:57Z) - Heuristic Domain Adaptation [105.59792285047536]
Heuristic Domain Adaptation Network (HDAN)は、ドメイン不変およびドメイン固有表現を明示的に学習する。
Heuristic Domain Adaptation Network (HDAN)は、教師なしDA、マルチソースDA、半教師なしDAの最先端を超越している。
論文 参考訳（メタデータ） (2020-11-30T04:21:35Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。
いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
論文 参考訳（メタデータ） (2020-07-01T18:25:10Z) - Few-shot Domain Adaptation by Causal Mechanism Transfer [107.08605582020866]
我々は,少数のラベル付き対象ドメインデータと多数のラベル付きソースドメインデータしか利用できないレグレッション問題に対して,数ショットの教師付きドメイン適応(DA)について検討する。
現在のDA法の多くは、パラメータ化された分布シフトまたは明らかな分布類似性に基づく転送仮定に基づいている。
本稿では,データ生成機構がドメイン間で不変であるメタ分散シナリオであるメカニズム転送を提案する。
論文 参考訳（メタデータ） (2020-02-10T02:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。