論文の概要: Statistical curriculum learning: An elimination algorithm achieving an oracle risk

• arxiv url: http://arxiv.org/abs/2402.13366v1
• Date: Tue, 20 Feb 2024 20:44:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 18:11:24.823935
• Title: Statistical curriculum learning: An elimination algorithm achieving an oracle risk
• Title（参考訳）: 統計的カリキュラム学習:オラクルのリスクを達成する排除アルゴリズム
• Authors: Omer Cohen, Ron Meir, Nir Weinberger
• Abstract要約: パラメトリックな予測設定において,カリキュラム学習(CL)の統計版を考える。 学習者は,受取側の情報レベルに応じて,3種類の学習者について検討する。
• 参考スコア（独自算出の注目度）: 31.997825444285457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a statistical version of curriculum learning (CL) in a parametric prediction setting. The learner is required to estimate a target parameter vector, and can adaptively collect samples from either the target model, or other source models that are similar to the target model, but less noisy. We consider three types of learners, depending on the level of side-information they receive. The first two, referred to as strong/weak-oracle learners, receive high/low degrees of information about the models, and use these to learn. The third, a fully adaptive learner, estimates the target parameter vector without any prior information. In the single source case, we propose an elimination learning method, whose risk matches that of a strong-oracle learner. In the multiple source case, we advocate that the risk of the weak-oracle learner is a realistic benchmark for the risk of adaptive learners. We develop an adaptive multiple elimination-rounds CL algorithm, and characterize instance-dependent conditions for its risk to match that of the weak-oracle learner. We consider instance-dependent minimax lower bounds, and discuss the challenges associated with defining the class of instances for the bound. We derive two minimax lower bounds, and determine the conditions under which the performance weak-oracle learner is minimax optimal.
• Abstract（参考訳）: パラメトリックな予測設定において,カリキュラム学習(CL)の統計版を考える。 学習者は、ターゲットパラメータベクトルを推定し、ターゲットモデルまたはターゲットモデルと類似しているがノイズが少ない他のソースモデルからサンプルを適応的に収集することができる。 副次的情報レベルに応じて,3種類の学習者について検討する。 最初の2つは、強い/弱い学習者と呼ばれ、モデルに関する高い/低い情報を受け取り、これらを使って学習する。 3番目は、完全適応学習者であり、事前情報なしで目標パラメータベクトルを推定する。 単一ソースの場合、oracleの強い学習者とリスクが一致する排除学習方法を提案する。 マルチソースの場合、弱い学習者のリスクは適応学習者のリスクに対する現実的なベンチマークである、と我々は主張する。 我々は適応型多重排除ラウンドclアルゴリズムを開発し,弱いoracle学習者のそれと一致させるリスクについて,インスタンス依存条件を特徴付ける。 インスタンス依存のミニマックスローバウンドを考察し、そのバウンドのインスタンスのクラスを定義する際の課題について議論する。 2つのミニマックス下限を導出し、性能の弱い学習者が最適である条件を決定する。

関連論文リスト

• Necessary and Sufficient Oracles: Toward a Computational Taxonomy For Reinforcement Learning [28.184175745050474]
  本稿では,教師付き学習オラクルの選択が強化学習アルゴリズムの計算複雑性に与える影響について検討する。 まず、標準的なエピソード・アクセス・モデルにおいて、2コンテキスト回帰を最小のオラクルとみなす。 第二に、より強いリセットアクセスモデルにおいて、一文回帰を最小に近いオラクルとみなす。 第3に、我々はLow-Rank MDPに焦点を絞り、Block MDP設定の類似のオラクルが不十分であることを示す暗号的証拠を与えます。
  論文  参考訳（メタデータ） (2025-02-12T18:47:13Z)
• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• LoRA Unlearns More and Retains More (Student Abstract) [0.0]
  PruneLoRAは、モデルに低ランクの更新を適用することで、大規模なパラメータ更新の必要性を減らす。 そこで我々はLoRAを利用してプルーンドモデルのパラメータのサブセットを選択的に修正し、計算コスト、メモリ要件を低減し、残りのクラスの性能を維持するモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2024-11-16T16:47:57Z)
• Collaborative Learning with Different Labeling Functions [7.228285747845779]
  我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。 データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-16T04:32:22Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Minimax Excess Risk of First-Order Methods for Statistical Learning with Data-Dependent Oracles [25.557803548119466]
  我々は, 強い凸とスムーズな統計的学習の最小限超過リスクに対して, 鋭い上下境界を提供する。 この新しいオーラクルのクラスは、任意のデータ分布で勾配をクエリできる。
  論文  参考訳（メタデータ） (2023-07-10T16:29:05Z)
• Oracle Inequalities for Model Selection in Offline Reinforcement Learning [105.74139523696284]
  本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。 対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。 そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
  論文  参考訳（メタデータ） (2022-11-03T17:32:34Z)
• Smoothed Online Learning is as Easy as Statistical Learning [77.00766067963195]
  この設定では、最初のオラクル効率、非回帰アルゴリズムを提供する。 古典的な設定で関数クラスが学習可能な場合、文脈的包帯に対するオラクル効率のよい非回帰アルゴリズムが存在することを示す。
  論文  参考訳（メタデータ） (2022-02-09T19:22:34Z)
• Knowledge-driven Active Learning [70.37119719069499]
  アクティブな学習戦略は、ディープラーニングモデルをトレーニングするために必要なラベル付きデータの量を最小限にすることを目的としている。 ほとんどの積極的な戦略は不確実なサンプルの選択に基づいており、しばしば決定境界に近いサンプルに制限される。 本稿では、一般的なドメイン知識を考慮し、エキスパートでないユーザがより少ないサンプルでモデルを訓練できるようにする。
  論文  参考訳（メタデータ） (2021-10-15T06:11:53Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。