論文の概要: Generalized Label Shift Correction via Minimum Uncertainty Principle:
Theory and Algorithm
- arxiv url: http://arxiv.org/abs/2202.13043v1
- Date: Sat, 26 Feb 2022 02:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 14:52:33.463964
- Title: Generalized Label Shift Correction via Minimum Uncertainty Principle:
Theory and Algorithm
- Title(参考訳): 最小不確かさ原理による一般化ラベルシフト補正:理論とアルゴリズム
- Authors: You-Wei Luo and Chuan-Xian Ren
- Abstract要約: 一般的なラベルシフトは、望ましい知識の学習と伝達に関する洞察を提供する。
これらの課題に対処するための条件適応フレームワークを提案する。
実験結果から,提案モデルが競争性能を達成できることが示唆された。
- 参考スコア(独自算出の注目度): 20.361516866096007
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a fundamental problem in machine learning, dataset shift induces a
paradigm to learn and transfer knowledge under changing environment. Previous
methods assume the changes are induced by covariate, which is less practical
for complex real-world data. We consider the Generalized Label Shift (GLS),
which provides an interpretable insight into the learning and transfer of
desirable knowledge. Current GLS methods: 1) are not well-connected with the
statistical learning theory; 2) usually assume the shifting conditional
distributions will be matched with an implicit transformation, but its explicit
modeling is unexplored. In this paper, we propose a conditional adaptation
framework to deal with these challenges. From the perspective of learning
theory, we prove that the generalization error of conditional adaptation is
lower than previous covariate adaptation. Following the theoretical results, we
propose the minimum uncertainty principle to learn conditional invariant
transformation via discrepancy optimization. Specifically, we propose the
\textit{conditional metric operator} on Hilbert space to characterize the
distinctness of conditional distributions. For finite observations, we prove
that the empirical estimation is always well-defined and will converge to
underlying truth as sample size increases. The results of extensive experiments
demonstrate that the proposed model achieves competitive performance under
different GLS scenarios.
- Abstract(参考訳): 機械学習の根本的な問題として、データセットシフトは、変化する環境下で知識を学び、伝達するパラダイムを誘導する。
従来の手法では、変化は共変量によって引き起こされると考えられており、これは複雑な実世界のデータには実用的ではない。
我々は、望ましい知識の学習と伝達に関する解釈可能な洞察を提供する一般化ラベルシフト(GLS)を考える。
現在のGLSメソッド:
1)統計的学習理論と密接な関係がない。
2) シフト条件分布は暗黙の変換と一致すると仮定するが、明示的なモデリングは未検討である。
本稿では,これらの課題に対処するための条件適応フレームワークを提案する。
学習理論の観点からは、条件適応の一般化誤差が以前の共変量適応よりも低いことを証明する。
理論的結果に従えば,不確かさを最小限に抑えた条件不変変換法を提案する。
具体的には、条件分布の区別性を特徴づけるためにヒルベルト空間上の \textit{conditional metric operator} を提案する。
有限な観察では、経験的推定は常に明確に定義され、サンプルサイズが増加するにつれて基礎となる真理に収束することが証明される。
実験結果から,提案モデルが異なるGLSシナリオ下での競争性能を実現することを示す。
関連論文リスト
- Robust Distributed Learning: Tight Error Bounds and Breakdown Point
under Data Heterogeneity [11.2120847961379]
本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。
また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
論文 参考訳(メタデータ) (2023-09-24T09:29:28Z) - Effect-Invariant Mechanisms for Policy Generalization [3.701112941066256]
不変条件分布を利用して、目に見えない環境をより一般化するモデルを学ぶことが提案されている。
効果不変性(英語版)と呼ばれる完全な不変性の緩和を導入し、ゼロショットポリシーの一般化には適切な仮定の下で十分であることを示す。
シミュレーションデータと移動体保健介入データセットを用いて実験結果を提示し,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-06-19T14:50:24Z) - Federated Conformal Predictors for Distributed Uncertainty
Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。
本稿では,共形予測を連邦学習環境に拡張する。
本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文 参考訳(メタデータ) (2023-05-27T19:57:27Z) - Unleashing the Power of Graph Data Augmentation on Covariate
Distribution Shift [50.98086766507025]
本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。
AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
論文 参考訳(メタデータ) (2022-11-05T07:55:55Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。
本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。
この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
論文 参考訳(メタデータ) (2022-09-26T12:04:49Z) - Causal Discovery in Heterogeneous Environments Under the Sparse
Mechanism Shift Hypothesis [7.895866278697778]
機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。
実際、この仮定は環境間の分散シフトによってほとんど常に破られる。
そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
論文 参考訳(メタデータ) (2022-06-04T15:39:30Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳(メタデータ) (2022-03-25T05:36:26Z) - Effective Sample Size, Dimensionality, and Generalization in Covariate
Shift Adaptation [0.0]
教師あり学習において,サンプルサイズ,次元性,モデル性能/一般化がどの程度有効かを示す。
本稿では,ESS,データ次元,一般化を結合する統一ビューの構築に焦点をあてる。
論文 参考訳(メタデータ) (2020-10-02T20:22:59Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳(メタデータ) (2020-07-08T11:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。