論文の概要: Positive Distribution Shift as a Framework for Understanding Tractable Learning
- arxiv url: http://arxiv.org/abs/2602.08907v1
- Date: Mon, 09 Feb 2026 17:08:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:25.387827
- Title: Positive Distribution Shift as a Framework for Understanding Tractable Learning
- Title(参考訳): トラクタブルラーニングの枠組みとしての正の分布シフト
- Authors: Marko Medvedev, Idan Attias, Elisabetta Cornacchia, Theodor Misiakiewicz, Gal Vardi, Nathan Srebro,
- Abstract要約: 目的関数 f(x) を目標分布 D(x) に対して学習することを目的とした設定について検討する。
D'(x) をよく理解すれば、シフトは肯定的になり、学習が容易になる、と我々は主張する。
- 参考スコア(独自算出の注目度): 43.34621580435111
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study a setting where the goal is to learn a target function f(x) with respect to a target distribution D(x), but training is done on i.i.d. samples from a different training distribution D'(x), labeled by the true target f(x). Such a distribution shift (here in the form of covariate shift) is usually viewed negatively, as hurting or making learning harder, and the traditional distribution shift literature is mostly concerned with limiting or avoiding this negative effect. In contrast, we argue that with a well-chosen D'(x), the shift can be positive and make learning easier -- a perspective called Positive Distribution Shift (PDS). Such a perspective is central to contemporary machine learning, where much of the innovation is in finding good training distributions D'(x), rather than changing the training algorithm. We further argue that the benefit is often computational rather than statistical, and that PDS allows computationally hard problems to become tractable even using standard gradient-based training. We formalize different variants of PDS, show how certain hard classes are easily learnable under PDS, and make connections with membership query learning.
- Abstract(参考訳): 本研究では、目標分布D(x)について目標関数f(x)を学習することを目的とした設定について検討するが、実目標f(x)でラベル付けされた異なるトレーニング分布D'(x)のサンプルに基づいてトレーニングを行う。
このような分布シフト(以下、共変量シフトの形で)は、通常、学習を困難にしたり傷つけたりするものとして否定的に見なされ、伝統的な分布シフトの文献は、主にこの負の効果を制限するか、避けるかに関係している。
対照的に、私たちは、よく考えられたD'(x)では、このシフトはポジティブになり、学習が簡単になる、と論じています。
このような視点は、トレーニングアルゴリズムを変更するのではなく、優れたトレーニング分布D'(x)を見つけることにおけるイノベーションの大部分が、現代の機械学習の中心である。
さらに、この利点は統計学よりも計算学的なものであり、PSDは標準勾配に基づく訓練でも計算的に難しい問題を抽出できると主張している。
PDSの異なる変種を形式化し、あるハードクラスがPSDで容易に学習できることを示し、メンバーシップクエリ学習と接続する。
関連論文リスト
- Distributional Training Data Attribution: What do Influence Functions Sample? [25.257922996567178]
分散学習データ属性(d-TDA)を導入する。
d-TDAの目標は、モデル出力の分布がデータセットに依存するかを予測することである。
影響関数 (IF) は「秘密分布」である。
論文 参考訳(メタデータ) (2025-06-15T21:02:36Z) - Diagnosing Model Performance Under Distribution Shift [9.143551270841858]
予測モデルは、トレーニングディストリビューションとは異なるターゲットディストリビューションにデプロイされた場合、パフォーマンスが良くない。
提案手法は,1)トレーニングの難易度が高いが頻繁な例の増加,2)特徴と成果の関係の変化,3)トレーニング中の頻度の低い例や見当たらない例のパフォーマンス低下など,パフォーマンスの低下を用語に分解する。
論文 参考訳(メタデータ) (2023-03-03T15:27:16Z) - Learnable Distribution Calibration for Few-Shot Class-Incremental
Learning [122.2241120474278]
FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。
本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:40:26Z) - Domain Adaptation meets Individual Fairness. And they get along [48.95808607591299]
アルゴリズムフェアネスの介入は、機械学習モデルが分散シフトを克服するのに役立つことを示す。
特に,個人フェアネス(IF)の適切な概念を強制することで,MLモデルの分布外精度が向上することを示す。
論文 参考訳(メタデータ) (2022-05-01T16:19:55Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳(メタデータ) (2022-02-09T12:03:02Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳(メタデータ) (2021-06-14T22:24:23Z) - DisCor: Corrective Feedback in Reinforcement Learning via Distribution
Correction [96.90215318875859]
ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。
本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
論文 参考訳(メタデータ) (2020-03-16T16:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。