論文の概要: General Quantification of Covariate and Concept Shifts
- arxiv url: http://arxiv.org/abs/2609.11918v1
- Date: Thu, 10 Sep 2026 17:57:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.483743
- Title: General Quantification of Covariate and Concept Shifts
- Title(参考訳): 共変量と概念シフトの一般定量化
- Abstract要約: 分散シフトの下での一般化は、現代の機械学習における中核的な課題である。
本稿では,理論と実用化のギャップを埋める。
- 参考スコア(独自算出の注目度): 3.7878751488248383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalization under distribution shift remains a core challenge in modern machine learning, yet existing learning bound theory is limited to narrow, idealized settings and is non-estimable from samples. In this paper, we bridge the gap between theory and practical applications. We first show that existing definition of concept shift breaks when the source and target supports mismatch. Leveraging entropic optimal transport, we propose a key notion: $γ^{*}\!$-concept shifts, and derive a general error bound unifying covariate and $γ^{*}\!$-concept shifts, which applies to broad loss functions, label spaces, and stochastic labeling. We further develop estimators for these shifts with concentration guarantees, and the DataShifts algorithm, which can quantify distribution shifts and estimate the error bound in most applications - a rigorous and general tool for analyzing learning error under distribution shift.
- Abstract(参考訳): 分散シフトの下での一般化は、現代の機械学習における中核的な課題であり続けているが、既存の学習境界理論は狭く理想化された設定に限られており、サンプルからは推定できない。
本稿では,理論と実用化のギャップを埋める。
まず、ソースとターゲットがミスマッチをサポートすると、既存の概念シフトの定義が壊れることを示す。
エントロピー最適輸送を活用して、重要な概念として、$γ^{*}\!
$-concept shifts, and der derived a general error bounding unifying covariate and $γ^{*}\!
広い損失関数、ラベル空間、確率ラベリングに適用できる$-concept shifts。
さらに,これらのシフトを集中保証付きで推定する手法と,分散シフトを定量化し,ほとんどのアプリケーションで拘束されるエラーを推定するDataShiftsアルゴリズムを開発し,分散シフト下での学習エラーを分析するための厳密で汎用的なツールを開発した。
関連論文リスト
- Adversarial Label Invariant Graph Data Augmentations for Out-of-Distribution Generalization [5.709371904922988]
アウト・オブ・ディストリビューション(OoD)の一般化は、表現学習が分散シフトに遭遇したときに起こる。
RIA - 逆行訓練による不変性に対する正規化を提案する。
Q$-learningの例に倣って、データ環境をトレーニングするための敵対的な探索を行う。
論文 参考訳(メタデータ) (2026-04-09T16:02:07Z) - General and Estimable Learning Bound Unifying Covariate and Concept Shifts [3.7878751488248383]
我々は、広い損失関数、ラベル空間、ラベル付けに適用される新しい統一誤差境界を開発することにより、理論と実践的応用のギャップを埋める。
また,ほとんどの分散シフトにおけるエラー境界を定量化するアルゴリズムを開発し,分散シフト下での学習エラーを分析するための厳密で汎用的なツールを開発した。
論文 参考訳(メタデータ) (2025-06-15T12:18:05Z) - Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。
本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
論文 参考訳(メタデータ) (2025-04-04T04:42:38Z) - Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning [51.177789437682954]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。
柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。
本研究では,平均シフト補償と共分散校正を組み合わせたセマンティックドリフト校正法を提案する。
論文 参考訳(メタデータ) (2025-02-11T13:57:30Z) - Towards Understanding Extrapolation: a Causal Lens [53.15488984371969]
我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。
この定式化の下では、外挿問題を潜在変数識別問題にキャストする。
この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
論文 参考訳(メタデータ) (2025-01-15T21:29:29Z) - When Invariant Representation Learning Meets Label Shift: Insufficiency and Theoretical Insights [16.72787996847537]
一般化ラベルシフト(GLS)は、シフト内の複雑な要因に対処する大きな可能性を示す最新の開発である。
主な結果は、不変表現学習が不十分であることを示し、一般化のためのGLS補正が不十分であること、および必要であることを証明した。
本稿では,カーネル埋め込みに基づく補正アルゴリズム(KECA)を提案する。
論文 参考訳(メタデータ) (2024-06-24T12:47:21Z) - Boosted Control Functions: Distribution generalization and invariance in confounded models [10.503777692702952]
非線形で非同定可能な構造関数が存在する場合でも分布の一般化を可能にする不変性という強い概念を導入する。
フレキシブルな機械学習手法を用いて,ブースト制御関数(BCF)を推定する制御Twicingアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-09T15:43:46Z) - Generalized Schrödinger Bridge Matching [54.171931505066]
一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。
我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。
このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:42:11Z) - Adapting to Latent Subgroup Shifts via Concepts and Proxies [82.01141290360562]
最適ターゲット予測器は、ソースドメインでのみ利用できる概念とプロキシ変数の助けを借りて、非パラメトリックに識別可能であることを示す。
本研究では,データ生成プロセスに特有の潜在変数モデルを提案する。
論文 参考訳(メタデータ) (2022-12-21T18:30:22Z) - Mitigating Both Covariate and Conditional Shift for Domain
Generalization [14.91361835243516]
ドメイン一般化(Domain Generalization、DG)は、複数のソースドメインのモデルを学習することを目的としており、モデルが未確認のターゲットドメインに適切に一般化できることを願っている。
本稿では,視覚的アライメントと不確実性誘導的信念アンサンブル(VAUE)による分布変化に対処する新しいDG手法を提案する。
論文 参考訳(メタデータ) (2022-09-17T05:13:56Z) - Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
このようなリスク不変予測器の学習に重要な課題はショートカット学習である。
この課題に対処するために、フレキシブルで因果的なアプローチを提案する。
この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
論文 参考訳(メタデータ) (2021-05-13T16:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。