論文の概要: Learning Conditional Invariances through Non-Commutativity

• arxiv url: http://arxiv.org/abs/2402.11682v1
• Date: Sun, 18 Feb 2024 19:12:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 19:32:01.792603
• Title: Learning Conditional Invariances through Non-Commutativity
• Title（参考訳）: 非可換性による学習条件不変性
• Authors: Abhra Chaudhuri, Serban Georgescu, Anjan Dutta
• Abstract要約: 目的領域に非可換的に向くような不変条件を緩和することにより, 条件付き不変条件の学習に最適で, サンプル効率のよい学習方法が示される。 非可換性は$varphi*$の代わりに$Phi*_tau$への最適化を導いており、$mathcalH$-divergenceを0とする。
• 参考スコア（独自算出の注目度）: 4.820252317855078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Invariance learning algorithms that conditionally filter out domain-specific random variables as distractors, do so based only on the data semantics, and not the target domain under evaluation. We show that a provably optimal and sample-efficient way of learning conditional invariances is by relaxing the invariance criterion to be non-commutatively directed towards the target domain. Under domain asymmetry, i.e., when the target domain contains semantically relevant information absent in the source, the risk of the encoder $\varphi^*$ that is optimal on average across domains is strictly lower-bounded by the risk of the target-specific optimal encoder $\Phi^*_\tau$. We prove that non-commutativity steers the optimization towards $\Phi^*_\tau$ instead of $\varphi^*$, bringing the $\mathcal{H}$-divergence between domains down to zero, leading to a stricter bound on the target risk. Both our theory and experiments demonstrate that non-commutative invariance (NCI) can leverage source domain samples to meet the sample complexity needs of learning $\Phi^*_\tau$, surpassing SOTA invariance learning algorithms for domain adaptation, at times by over $2\%$, approaching the performance of an oracle. Implementation is available at https://github.com/abhrac/nci.
• Abstract（参考訳）: ドメイン固有の確率変数を障害として条件付きフィルタリングする非分散学習アルゴリズムは、評価対象のドメインではなく、データセマンティクスのみに基づいて行う。 目的領域に非可換的に向くような不変条件を緩和することにより, 条件付き不変条件の学習に最適で, サンプル効率のよい学習方法を示す。 ドメイン非対称性の下では、ターゲットドメインがソースに存在しない意味的関連情報を含んでいる場合、ドメインの平均で最適であるエンコーダ$\varphi^*$のリスクは、ターゲット固有の最適エンコーダ$\Phi^*_\tau$のリスクによって厳密に低くされる。 非可換性は$\Phi^*_\tau$ を $\varphi^*$ ではなく $\Phi^*_\tau$ に最適化することを証明し、ドメイン間の$\mathcal{H}$-divergence をゼロにすることで、ターゲットのリスクに厳密な制限を与える。 我々の理論と実験は、NCI(Non-commutative invariance)が、ドメイン適応のためのSOTA不変学習アルゴリズムを超越した$\Phi^*_\tau$を学習する際の、サンプルの複雑さを満たすために、ソースドメインサンプルを活用することを実証している。 実装はhttps://github.com/abhrac/nciで利用可能である。

関連論文リスト

• AdaTriplet-RA: Domain Matching via Adaptive Triplet and Reinforced Attention for Unsupervised Domain Adaptation [15.905869933337101]
  教師なしドメイン適応(Unsupervised Domain Adaption、UDA)は、ソースドメインのデータとアノテーションが利用できるが、トレーニング中にラベル付けされていないターゲットデータにのみアクセスできるトランスファー学習タスクである。 本稿では、ドメイン間サンプルマッチング方式を用いて、教師なしドメイン適応タスクを改善することを提案する。 ドメイン間サンプルに合わせるために,広く利用され,堅牢なTriplet損失を適用した。 トレーニング中に発生する不正確な擬似ラベルの破滅的効果を低減するため,信頼度の高い擬似ラベルを自動的に選択し,段階的に改良する新しい不確実性測定法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T13:04:24Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Understanding Gradual Domain Adaptation: Improved Analysis, Optimal Path and Beyond [20.518134448156744]
  グラデーショナルドメイン適応(GDA)は、ソースとターゲットをブリッジする未ラベルの中間ドメインのパスを$(T-1)と仮定する。 我々は、$widetildeOleft(varepsilon_0+Oleft(sqrtlog(T)/nright)$, $Delta$が連続ドメイン間の平均分布距離であることを示す。
  論文  参考訳（メタデータ） (2022-04-18T07:39:23Z)
• Domain-shift adaptation via linear transformations [11.541238742226199]
  ソースドメイン(A)のデータから学習した予測子$f_Aは、分布が異なる場合、ターゲットドメイン(B)上で正確でない可能性がある。 ソースとターゲットドメインを低次元の共通空間に投影する手法を提案する。 シミュレーションデータと二進数分類タスクにおけるアプローチの有効性を示し、データのドメインシフトを補正する際の精度を最大48%向上させる。
  論文  参考訳（メタデータ） (2022-01-14T02:49:03Z)
• Certainty Volume Prediction for Unsupervised Domain Adaptation [35.984559137218504]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベルなしのターゲットドメインデータを分類する問題を扱う。 特徴空間における多変量ガウス分布としての不確かさをモデル化する新しい不確実性対応領域適応構成を提案する。 提案したパイプラインを、挑戦的なUDAデータセットに基づいて評価し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-03T11:22:55Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• OVANet: One-vs-All Network for Universal Domain Adaptation [78.86047802107025]
  既存のメソッドは、検証または未知のサンプルの事前定義された比率に基づいて未知のサンプルを拒否するしきい値を手動で設定します。 本稿では,ソースサンプルを用いて閾値を学習し,対象領域に適応する手法を提案する。 私たちの考えは、ソースドメインの最小クラス間距離は、ターゲットの既知のか未知かを決定するための良いしきい値であるべきです。
  論文  参考訳（メタデータ） (2021-04-07T18:36:31Z)
• Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
  教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
  論文  参考訳（メタデータ） (2020-06-17T17:51:42Z)
• Uncertainty-Aware Consistency Regularization for Cross-Domain Semantic Segmentation [63.75774438196315]
  Unsupervised Domain adapt (UDA) は、未ラベルのデータのみを持つ新しいターゲットドメインにソースドメインの既存のモデルを適用することを目的としている。 既存のほとんどの手法は、エラーを起こしやすい識別器ネットワークまたは不合理な教師モデルから生じる顕著な負の伝達に悩まされている。 ドメイン間セマンティックセグメンテーションのための不確実性を考慮した整合性正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-04-19T15:30:26Z)
• A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation [142.31610972922067]
  この研究は、特にターゲットドメインのクラスラベルがソースドメインのサブセットである場合に、教師なしのドメイン適応問題に対処する。 本稿では,ドメイン逆境学習に基づく新しいドメイン適応手法 BA$3$US を提案し,BAA(Ba balanced Adversarial Alignment)とAUS(Adaptive Uncertainty Suppression)の2つの新しい手法を提案する。 複数のベンチマーク実験の結果、BA$3$USが部分的なドメイン適応タスクの最先端を超越していることが示されている。
  論文  参考訳（メタデータ） (2020-03-05T11:37:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。