論文の概要: Capturing the learning curves of generic features maps for realistic data sets with a teacher-student model

• arxiv url: http://arxiv.org/abs/2102.08127v1
• Date: Tue, 16 Feb 2021 12:49:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:08:33.279274
• Title: Capturing the learning curves of generic features maps for realistic data sets with a teacher-student model
• Title（参考訳）: 教師・学生モデルを用いた現実的データセットの汎用機能マップの学習曲線のキャプチャ
• Authors: Bruno Loureiro, C\'edric Gerbelot, Hugo Cui, Sebastian Goldt, Florent Krzakala, Marc M\'ezard, Lenka Zdeborov\'a
• Abstract要約: 教師学生モデルは、高次元教師付き学習タスクの典型的なケースパフォーマンスをクローズドな形で研究できる強力なフレームワークを提供する。 この設定では、ラベルはデータに割り当てられ、しばしばガウスのi.i.dとされる。 -教師モデルにより、ラベルを生成するパラメータの復元において、学生モデルの典型的な性能を特徴付けることが目的である。
• 参考スコア（独自算出の注目度）: 24.679669970832396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Teacher-student models provide a powerful framework in which the typical case performance of high-dimensional supervised learning tasks can be studied in closed form. In this setting, labels are assigned to data - often taken to be Gaussian i.i.d. - by a teacher model, and the goal is to characterise the typical performance of the student model in recovering the parameters that generated the labels. In this manuscript we discuss a generalisation of this setting where the teacher and student can act on different spaces, generated with fixed, but generic feature maps. This is achieved via the rigorous study of a high-dimensional Gaussian covariate model. Our contribution is two-fold: First, we prove a rigorous formula for the asymptotic training loss and generalisation error achieved by empirical risk minimization for this model. Second, we present a number of situations where the learning curve of the model captures the one of a \emph{realistic data set} learned with kernel regression and classification, with out-of-the-box feature maps such as random projections or scattering transforms, or with pre-learned ones - such as the features learned by training multi-layer neural networks. We discuss both the power and the limitations of the Gaussian teacher-student framework as a typical case analysis capturing learning curves as encountered in practice on real data sets.
• Abstract（参考訳）: 教師学生モデルは、高次元教師付き学習タスクの典型的なケースパフォーマンスをクローズドな形で研究できる強力なフレームワークを提供する。 この設定では、ラベルはデータに割り当てられ、しばしばガウスのi.i.dとされる。 -教師モデルにより、ラベルを生成するパラメータの復元において、学生モデルの典型的な性能を特徴付けることが目的である。 本稿では,教師と生徒が,固定的だが汎用的な特徴マップを用いて生成した異なる空間上で行動できる,この設定の一般化について論じる。 これは高次元ガウス共変量モデルの厳密な研究によって達成される。 まず、このモデルに対する経験的リスク最小化によって達成された漸近的トレーニング損失と一般化誤差の厳密な公式を証明します。 第二に、モデルの学習曲線がカーネルの回帰と分類で学習した \emph{realistic data set} の1つを、ランダムなプロジェクションや散乱変換などのアウト・オブ・ボックスの特徴マップや、マルチ層ニューラルネットワークのトレーニングによって学習した特徴など、事前学習した特徴マップでキャプチャする多くの状況を示す。 実際のデータセットで実際に遭遇した学習曲線をキャプチャする典型的なケース分析として,ガウス教師学生フレームワークのパワーと限界について論じる。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A unified framework for learning with nonlinear model classes from arbitrary linear samples [0.7366405857677226]
  この研究は、与えられたモデルクラスを使用してトレーニングデータから未知のオブジェクトを学ぶという根本的な問題を考察する。 任意のヒルベルト空間のオブジェクト、訓練データとしての(ランダムな)線形測定の一般型、非線形モデルクラスの一般型を可能にする統一的なフレームワークを導入する。 本稿では, ランダムサンプリングによる行列スケッチ, 等方的ベクトルを用いた圧縮センシング, 回帰学習, 生成モデルによる圧縮センシングなどの例を示す。
  論文  参考訳（メタデータ） (2023-11-25T00:43:22Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Learning and generalization of one-hidden-layer neural networks, going beyond standard Gaussian data [14.379261299138147]
  本稿では,入力特徴がガウス混合モデルに従えば,一層ニューラルネットワークの収束と反復を解析する。 本論文は,入力分布がサンプルに与える影響と学習率に与える影響を初めて特徴付ける。
  論文  参考訳（メタデータ） (2022-07-07T23:27:44Z)
• Smoothed Embeddings for Certified Few-Shot Learning [63.68667303948808]
  我々はランダムな平滑化を数ショットの学習モデルに拡張し、入力を正規化された埋め込みにマッピングする。 この結果は、異なるデータセットの実験によって確認される。
  論文  参考訳（メタデータ） (2022-02-02T18:19:04Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• The Gaussian equivalence of generative models for learning with shallow neural networks [30.47878306277163]
  本研究では,事前学習した生成モデルから得られたデータに基づいて学習したニューラルネットワークの性能について検討する。 この等価性を裏付ける厳密で解析的で数値的な証拠を3本提供します。 これらの結果は、現実的なデータを持つ機械学習モデルの理論研究への有効な道を開く。
  論文  参考訳（メタデータ） (2020-06-25T21:20:09Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Generalisation error in learning with random features and the hidden manifold model [23.71637173968353]
  合成データセットの一般線形回帰と分類について検討した。 我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。 閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。 隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
  論文  参考訳（メタデータ） (2020-02-21T14:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。