論文の概要: Theoretical bounds on estimation error for meta-learning

• arxiv url: http://arxiv.org/abs/2010.07140v1
• Date: Wed, 14 Oct 2020 14:57:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 13:01:04.079040
• Title: Theoretical bounds on estimation error for meta-learning
• Title（参考訳）: メタ学習における推定誤差の理論的境界
• Authors: James Lucas, Mengye Ren, Irene Kameni, Toniann Pitassi, Richard Zemel
• Abstract要約: 複数の情報源のデータに基づいて学習し、新しいデータでテストしたアルゴリズムに対して、最小収束率に関する新しい情報理論の下限を提供する。 我々の境界は、データソース間で共有される情報に直感的に依存し、任意のアルゴリズムでこの設定で学習することの難しさを特徴づけます。
• 参考スコア（独自算出の注目度）: 29.288915378272375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models have traditionally been developed under the assumption that the training and test distributions match exactly. However, recent success in few-shot learning and related problems are encouraging signs that these models can be adapted to more realistic settings where train and test distributions differ. Unfortunately, there is severely limited theoretical support for these algorithms and little is known about the difficulty of these problems. In this work, we provide novel information-theoretic lower-bounds on minimax rates of convergence for algorithms that are trained on data from multiple sources and tested on novel data. Our bounds depend intuitively on the information shared between sources of data, and characterize the difficulty of learning in this setting for arbitrary algorithms. We demonstrate these bounds on a hierarchical Bayesian model of meta-learning, computing both upper and lower bounds on parameter estimation via maximum-a-posteriori inference.
• Abstract（参考訳）: 機械学習モデルは、トレーニングとテストの分布が正確に一致するという前提の下で伝統的に開発されてきた。 しかし、最近の数ショット学習や関連する問題の成功は、これらのモデルが、列車とテストの分布が異なるより現実的な設定に適応できることを示す兆候である。 残念ながら、これらのアルゴリズムの理論的サポートは極めて限られており、これらの問題の難しさについてはほとんど分かっていない。 本研究では,複数の情報源からのデータを学習し,新しいデータで検証したアルゴリズムに対して,最小収束率に関する新しい情報理論の下限を提供する。 我々の境界は、データソース間で共有される情報に直感的に依存し、任意のアルゴリズムのこの設定における学習の難しさを特徴付ける。 メタラーニングの階層的ベイズモデル上でこれらの境界を実証し,パラメータ推定における上限値と下限値の計算を行う。

関連論文リスト

• Calibration-then-Calculation: A Variance Reduced Metric Framework in Deep Click-Through Rate Prediction Models [16.308958212406583]
  ディープラーニングパイプラインのパフォーマンス評価に重点が置かれていない。 大きなデータセットと複雑なモデルの使用が増えると、トレーニングプロセスは一度だけ実行され、その結果は以前のベンチマークと比較される。 トレーニングプロセスを複数回実行するような従来のソリューションは、計算上の制約のため、しばしば実現不可能である。 本稿では,従来からある分散を低減し,この問題に対処するために設計された新しい計量フレームワークCalibrated Loss Metricを紹介する。
  論文  参考訳（メタデータ） (2024-01-30T02:38:23Z)
• Uncertainty quantification for learned ISTA [5.706217259840463]
  これらのモデルに基づく学習手法では,アルゴリズムの解法が顕著である。 確実性見積が欠如しており、不確実性定量化の理論はまだ解明されていない。 本研究は,LISTA推定器の信頼区間を得るための厳密な手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T18:39:07Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Improved Robust Algorithms for Learning with Discriminative Feature Feedback [21.58493386054356]
  識別的特徴フィードバック(英: Discriminative Feature Feedback)は、人間の教師によって提供される特徴説明に基づく対話型学習のためのプロトコルである。 我々は、識別的特徴フィードバックモデルのための、新しい堅牢な対話型学習アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-09-08T12:11:12Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Minimax rate of consistency for linear models with missing values [0.0]
  多くの実世界のデータセットでは、複数のソースが集約され、本質的に欠落した情報(センサーの故障、調査における未回答の疑問...)が欠落する。 本稿では,広範に研究された線形モデルに焦点をあてるが,不足する値が存在する場合には,非常に難しい課題であることが判明した。 最終的には、多くの学習タスクを解決し、入力機能の数を指数関数的にすることで、現在の現実世界のデータセットでは予測が不可能になる。
  論文  参考訳（メタデータ） (2022-02-03T08:45:34Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。