論文の概要: When Invariant Representation Learning Meets Label Shift: Insufficiency and Theoretical Insights
- arxiv url: http://arxiv.org/abs/2406.16608v1
- Date: Mon, 24 Jun 2024 12:47:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 14:44:42.829580
- Title: When Invariant Representation Learning Meets Label Shift: Insufficiency and Theoretical Insights
- Title（参考訳）: 不変表現学習がラベルシフトと出会うとき--不十分性と理論的考察
- Authors: You-Wei Luo, Chuan-Xian Ren,
- Abstract要約: 一般化ラベルシフト(GLS)は、シフト内の複雑な要因に対処する大きな可能性を示す最新の開発である。
主な結果は、不変表現学習が不十分であることを示し、一般化のためのGLS補正が不十分であること、および必要であることを証明した。
本稿では,カーネル埋め込みに基づく補正アルゴリズム(KECA)を提案する。
- 参考スコア（独自算出の注目度）: 16.72787996847537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a crucial step toward real-world learning scenarios with changing environments, dataset shift theory and invariant representation learning algorithm have been extensively studied to relax the identical distribution assumption in classical learning setting. Among the different assumptions on the essential of shifting distributions, generalized label shift (GLS) is the latest developed one which shows great potential to deal with the complex factors within the shift. In this paper, we aim to explore the limitations of current dataset shift theory and algorithm, and further provide new insights by presenting a comprehensive understanding of GLS. From theoretical aspect, two informative generalization bounds are derived, and the GLS learner is proved to be sufficiently close to optimal target model from the Bayesian perspective. The main results show the insufficiency of invariant representation learning, and prove the sufficiency and necessity of GLS correction for generalization, which provide theoretical supports and innovations for exploring generalizable model under dataset shift. From methodological aspect, we provide a unified view of existing shift correction frameworks, and propose a kernel embedding-based correction algorithm (KECA) to minimize the generalization error and achieve successful knowledge transfer. Both theoretical results and extensive experiment evaluations demonstrate the sufficiency and necessity of GLS correction for addressing dataset shift and the superiority of proposed algorithm.
- Abstract（参考訳）: 環境変化を伴う実世界の学習シナリオへの重要なステップとして、データセットシフト理論と不変表現学習アルゴリズムが、古典的な学習環境における同じ分布仮定を緩和するために広く研究されている。
分布のシフトの本質に関する様々な仮定の中で、一般化ラベルシフト(GLS)は、シフトの中の複雑な要因に対処する大きな可能性を示す最新のものである。
本稿では,現在のデータセットシフト理論とアルゴリズムの限界を探究し,GLSの包括的理解を示すことによって,新たな洞察を提供する。
理論的側面から、2つの情報的一般化境界が導出され、GLS学習者はベイズの観点から最適対象モデルに十分近いことが証明される。
本研究の主な成果は、不変表現学習が不十分であること、一般化のためのGLS補正が不十分であること、そして、データセットシフトの下で一般化可能なモデルを探索するための理論的支援と革新を提供することの証明である。
方法論的な側面から,既存のシフト補正フレームワークの統一的なビューを提供し,一般化誤差を最小限に抑え,知識伝達を成功させるカーネル埋め込みベースの補正アルゴリズム(KECA)を提案する。
理論的結果と広範囲な実験評価は、データセットシフトに対処するためのGLS補正が不十分であることと、提案アルゴリズムの優位性を示すものである。
関連論文リスト
- Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。
経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。
我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
論文 参考訳（メタデータ） (2024-10-30T20:59:57Z) - On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。
本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。
この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
論文 参考訳（メタデータ） (2024-03-11T16:23:42Z) - On the Generalization Capability of Temporal Graph Learning Algorithms:
Theoretical Insights and a Simpler Method [59.52204415829695]
テンポラルグラフ学習(TGL)は、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。
本稿では,異なるTGLアルゴリズムの一般化能力について検討する。
一般化誤差が小さく、全体的な性能が向上し、モデルの複雑さが低下する単純化されたTGLネットワークを提案する。
論文 参考訳（メタデータ） (2024-02-26T08:22:22Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Hypothesis Transfer Learning with Surrogate Classification Losses:
Generalization Bounds through Algorithmic Stability [3.908842679355255]
仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。
本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
論文 参考訳（メタデータ） (2023-05-31T09:38:21Z) - Revisiting Deep Semi-supervised Learning: An Empirical Distribution
Alignment Framework and Its Generalization Bound [97.93945601881407]
経験分布アライメントによる半教師あり学習(SLEDA)と呼ばれる深層半教師あり学習フレームワークを提案する。
ラベル付きデータに対するトレーニング誤差を最小化することにより,半教師付き学習の一般化誤差を効果的にバウンドできることを示す。
新しい枠組みと理論的境界に基づいて、Augmented Distribution Alignment Network(ADA-Net)と呼ばれるシンプルで効果的な深層半教師付き学習手法を開発した。
論文 参考訳（メタデータ） (2022-03-13T11:59:52Z) - Generalized Label Shift Correction via Minimum Uncertainty Principle:
Theory and Algorithm [20.361516866096007]
一般的なラベルシフトは、望ましい知識の学習と伝達に関する洞察を提供する。
これらの課題に対処するための条件適応フレームワークを提案する。
実験結果から,提案モデルが競争性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2022-02-26T02:39:47Z) - Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。
私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。
この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-11-27T07:36:32Z) - On the benefits of representation regularization in invariance based
domain generalization [6.197602794925773]
ドメインの一般化は、観測された環境と見えない環境の間のこのような予測ギャップを軽減することを目的としている。
本稿では、単に不変表現の学習が、目に見えない環境に対して脆弱であることを明らかにする。
さらに, 領域一般化におけるロバスト性向上のための効率的な正則化手法を考案した。
論文 参考訳（メタデータ） (2021-05-30T13:13:55Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。