論文の概要: Statistical curriculum learning: An elimination algorithm achieving an
oracle risk
- arxiv url: http://arxiv.org/abs/2402.13366v1
- Date: Tue, 20 Feb 2024 20:44:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 18:11:24.823935
- Title: Statistical curriculum learning: An elimination algorithm achieving an
oracle risk
- Title(参考訳): 統計的カリキュラム学習:オラクルのリスクを達成する排除アルゴリズム
- Authors: Omer Cohen, Ron Meir, Nir Weinberger
- Abstract要約: パラメトリックな予測設定において,カリキュラム学習(CL)の統計版を考える。
学習者は,受取側の情報レベルに応じて,3種類の学習者について検討する。
- 参考スコア(独自算出の注目度): 31.997825444285457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider a statistical version of curriculum learning (CL) in a parametric
prediction setting. The learner is required to estimate a target parameter
vector, and can adaptively collect samples from either the target model, or
other source models that are similar to the target model, but less noisy. We
consider three types of learners, depending on the level of side-information
they receive. The first two, referred to as strong/weak-oracle learners,
receive high/low degrees of information about the models, and use these to
learn. The third, a fully adaptive learner, estimates the target parameter
vector without any prior information. In the single source case, we propose an
elimination learning method, whose risk matches that of a strong-oracle
learner. In the multiple source case, we advocate that the risk of the
weak-oracle learner is a realistic benchmark for the risk of adaptive learners.
We develop an adaptive multiple elimination-rounds CL algorithm, and
characterize instance-dependent conditions for its risk to match that of the
weak-oracle learner. We consider instance-dependent minimax lower bounds, and
discuss the challenges associated with defining the class of instances for the
bound. We derive two minimax lower bounds, and determine the conditions under
which the performance weak-oracle learner is minimax optimal.
- Abstract(参考訳): パラメトリックな予測設定において,カリキュラム学習(CL)の統計版を考える。
学習者は、ターゲットパラメータベクトルを推定し、ターゲットモデルまたはターゲットモデルと類似しているがノイズが少ない他のソースモデルからサンプルを適応的に収集することができる。
副次的情報レベルに応じて,3種類の学習者について検討する。
最初の2つは、強い/弱い学習者と呼ばれ、モデルに関する高い/低い情報を受け取り、これらを使って学習する。
3番目は、完全適応学習者であり、事前情報なしで目標パラメータベクトルを推定する。
単一ソースの場合、oracleの強い学習者とリスクが一致する排除学習方法を提案する。
マルチソースの場合、弱い学習者のリスクは適応学習者のリスクに対する現実的なベンチマークである、と我々は主張する。
我々は適応型多重排除ラウンドclアルゴリズムを開発し,弱いoracle学習者のそれと一致させるリスクについて,インスタンス依存条件を特徴付ける。
インスタンス依存のミニマックスローバウンドを考察し、そのバウンドのインスタンスのクラスを定義する際の課題について議論する。
2つのミニマックス下限を導出し、性能の弱い学習者が最適である条件を決定する。
関連論文リスト
- Collaborative Learning with Different Labeling Functions [8.53926206853583]
我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。
データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
論文 参考訳(メタデータ) (2024-02-16T04:32:22Z) - Certified Minimax Unlearning with Generalization Rates and Deletion
Capacity [31.679075045401742]
ミニマックスモデルに対する$(epsilon,delta)$-certified machine unlearningの問題について検討する。
我々は,全ヘッセン語に基づく完全更新のための,新しいミニマックスアンラーニングステップを開発する。
論文 参考訳(メタデータ) (2023-12-16T06:03:23Z) - Active Learning in the Predict-then-Optimize Framework: A Margin-Based
Approach [5.371816551086118]
本研究では,ラベルのないデータストリームから特徴サンプルのラベルを要求するかどうかを逐次決定する学習手法を開発した。
我々の能動学習法は,予測パラメータによって引き起こされる決定誤差によって直接情報を得る最初の方法である。
論文 参考訳(メタデータ) (2023-05-11T05:44:36Z) - Oracle Inequalities for Model Selection in Offline Reinforcement
Learning [105.74139523696284]
本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。
対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。
そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
論文 参考訳(メタデータ) (2022-11-03T17:32:34Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-23T09:35:03Z) - Deep Unlearning via Randomized Conditionally Independent Hessians [42.99829184132466]
近年の法律では、機械学習、すなわち予測モデルから特定のトレーニングサンプルを、トレーニングデータセットに存在しないかのように取り除くことへの関心が高まっている。
我々は,新しい条件独立係数 L-CODEC の変種を用いて,モデルパラメータのサブセットを個々のサンプルレベルで最も意味的な重なり合いで同定する。
代替と比べ、L-CODECは、そうでなければ不可能な設定で、ほぼ未学習を可能にする。
論文 参考訳(メタデータ) (2022-04-15T21:44:48Z) - Smoothed Online Learning is as Easy as Statistical Learning [77.00766067963195]
この設定では、最初のオラクル効率、非回帰アルゴリズムを提供する。
古典的な設定で関数クラスが学習可能な場合、文脈的包帯に対するオラクル効率のよい非回帰アルゴリズムが存在することを示す。
論文 参考訳(メタデータ) (2022-02-09T19:22:34Z) - Online Selective Classification with Limited Feedback [82.68009460301585]
オンライン学習モデルにおいて、予測者がインスタンスの分類を控える可能性のある選択的分類について検討する。
私たちが考慮している設定の健全な2つの側面は、データが不可避である可能性があるため、データは不可避である可能性があるということです。
smash$tildeO(T1-mu)$ over abstention against Adaptive adversaries. smash$tildeO(T1-mu)$ incurring smash$tildeO(T1-mu)$ over abstention。
論文 参考訳(メタデータ) (2021-10-27T08:00:53Z) - Knowledge-driven Active Learning [70.37119719069499]
アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。
ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。
本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
論文 参考訳(メタデータ) (2021-10-15T06:11:53Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。