論文の概要: Generalized Label Shift Correction via Minimum Uncertainty Principle: Theory and Algorithm

• arxiv url: http://arxiv.org/abs/2202.13043v1
• Date: Sat, 26 Feb 2022 02:39:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 14:52:33.463964
• Title: Generalized Label Shift Correction via Minimum Uncertainty Principle: Theory and Algorithm
• Title（参考訳）: 最小不確かさ原理による一般化ラベルシフト補正:理論とアルゴリズム
• Authors: You-Wei Luo and Chuan-Xian Ren
• Abstract要約: 一般的なラベルシフトは、望ましい知識の学習と伝達に関する洞察を提供する。 これらの課題に対処するための条件適応フレームワークを提案する。 実験結果から,提案モデルが競争性能を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 20.361516866096007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a fundamental problem in machine learning, dataset shift induces a paradigm to learn and transfer knowledge under changing environment. Previous methods assume the changes are induced by covariate, which is less practical for complex real-world data. We consider the Generalized Label Shift (GLS), which provides an interpretable insight into the learning and transfer of desirable knowledge. Current GLS methods: 1) are not well-connected with the statistical learning theory; 2) usually assume the shifting conditional distributions will be matched with an implicit transformation, but its explicit modeling is unexplored. In this paper, we propose a conditional adaptation framework to deal with these challenges. From the perspective of learning theory, we prove that the generalization error of conditional adaptation is lower than previous covariate adaptation. Following the theoretical results, we propose the minimum uncertainty principle to learn conditional invariant transformation via discrepancy optimization. Specifically, we propose the \textit{conditional metric operator} on Hilbert space to characterize the distinctness of conditional distributions. For finite observations, we prove that the empirical estimation is always well-defined and will converge to underlying truth as sample size increases. The results of extensive experiments demonstrate that the proposed model achieves competitive performance under different GLS scenarios.
• Abstract（参考訳）: 機械学習の根本的な問題として、データセットシフトは、変化する環境下で知識を学び、伝達するパラダイムを誘導する。 従来の手法では、変化は共変量によって引き起こされると考えられており、これは複雑な実世界のデータには実用的ではない。 我々は、望ましい知識の学習と伝達に関する解釈可能な洞察を提供する一般化ラベルシフト(GLS)を考える。 現在のGLSメソッド: 1)統計的学習理論と密接な関係がない。 2) シフト条件分布は暗黙の変換と一致すると仮定するが、明示的なモデリングは未検討である。 本稿では,これらの課題に対処するための条件適応フレームワークを提案する。 学習理論の観点からは、条件適応の一般化誤差が以前の共変量適応よりも低いことを証明する。 理論的結果に従えば,不確かさを最小限に抑えた条件不変変換法を提案する。 具体的には、条件分布の区別性を特徴づけるためにヒルベルト空間上の \textit{conditional metric operator} を提案する。 有限な観察では、経験的推定は常に明確に定義され、サンプルサイズが増加するにつれて基礎となる真理に収束することが証明される。 実験結果から,提案モデルが異なるGLSシナリオ下での競争性能を実現することを示す。

関連論文リスト

• Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
  本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。 我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
  論文  参考訳（メタデータ） (2024-10-30T20:59:57Z)
• Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis [82.51626700527837]
  チェーン・オブ・シフト(Chain-of-shift, CoT)は、複数の中間ステップを持つ例を用いてクエリを増強することにより、大規模言語モデルの推論能力を実現する効率的な手法である。 CoT の理論的成功にもかかわらず、CoT が成立しても正確な一般化が得られないことを示す。
  論文  参考訳（メタデータ） (2024-10-03T03:12:51Z)
• When Invariant Representation Learning Meets Label Shift: Insufficiency and Theoretical Insights [16.72787996847537]
  一般化ラベルシフト(GLS)は、シフト内の複雑な要因に対処する大きな可能性を示す最新の開発である。 主な結果は、不変表現学習が不十分であることを示し、一般化のためのGLS補正が不十分であること、および必要であることを証明した。 本稿では,カーネル埋め込みに基づく補正アルゴリズム(KECA)を提案する。
  論文  参考訳（メタデータ） (2024-06-24T12:47:21Z)
• Robust Distributed Learning: Tight Error Bounds and Breakdown Point under Data Heterogeneity [11.2120847961379]
  本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。 また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
  論文  参考訳（メタデータ） (2023-09-24T09:29:28Z)
• Effect-Invariant Mechanisms for Policy Generalization [3.701112941066256]
  不変条件分布を利用して、目に見えない環境をより一般化するモデルを学ぶことが提案されている。 効果不変性(英語版)と呼ばれる完全な不変性の緩和を導入し、ゼロショットポリシーの一般化には適切な仮定の下で十分であることを示す。 シミュレーションデータと移動体保健介入データセットを用いて実験結果を提示し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-06-19T14:50:24Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Causal Discovery in Heterogeneous Environments Under the Sparse Mechanism Shift Hypothesis [7.895866278697778]
  機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。 実際、この仮定は環境間の分散シフトによってほとんど常に破られる。 そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T15:39:30Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。