論文の概要: The Shape of Learning Curves: a Review

• arxiv url: http://arxiv.org/abs/2103.10948v1
• Date: Fri, 19 Mar 2021 17:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 14:27:49.254549
• Title: The Shape of Learning Curves: a Review
• Title（参考訳）: 学習曲線の形状についての一考察
• Authors: Tom Viering, Marco Loog
• Abstract要約: 本稿では,この用語の起源を振り返り,学習曲線の形式的定義を提供し,その推定などの基礎を概説する。 電力法や指数の形状を持つよく行動する曲線をサポートする経験的および理論的証拠について議論する。 学習曲線の学習曲線の例に特に注意を払っており、トレーニングデータが増えると学習成績が悪化する。
• 参考スコア（独自算出の注目度）: 14.764764847928259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning curves provide insight into the dependence of a learner's generalization performance on the training set size. This important tool can be used for model selection, to predict the effect of more training data, and to reduce the computational complexity of model training and hyperparameter tuning. This review recounts the origins of the term, provides a formal definition of the learning curve, and briefly covers basics such as its estimation. Our main contribution is a comprehensive overview of the literature regarding the shape of learning curves. We discuss empirical and theoretical evidence that supports well-behaved curves that often have the shape of a power law or an exponential. We consider the learning curves of Gaussian processes, the complex shapes they can display, and the factors influencing them. We draw specific attention to examples of learning curves that are ill-behaved, showing worse learning performance with more training data. To wrap up, we point out various open problems that warrant deeper empirical and theoretical investigation. All in all, our review underscores that learning curves are surprisingly diverse and no universal model can be identified.
• Abstract（参考訳）: 学習曲線は、学習者の一般化性能のトレーニングセットサイズへの依存性についての洞察を与える。 この重要なツールは、モデル選択、より多くのトレーニングデータの効果の予測、モデルトレーニングとハイパーパラメータチューニングの計算複雑性の低減に使用することができる。 本稿では,この用語の起源を振り返り,学習曲線の形式的定義を提供し,その推定などの基礎を概説する。 本研究の主な貢献は,学習曲線の形状に関する文献の包括的概要である。 我々は、しばしば力の法則や指数関数の形を持つよく曲げられた曲線を支持する経験的および理論的証拠について議論する。 ガウス過程の学習曲線,表示可能な複雑な形状,それらに影響を与える因子について考察する。 学習曲線の学習曲線の例に特に注意を払っており、トレーニングデータが増えると学習成績が悪化する。 最後に、より深い経験的、理論的調査を必要とする様々なオープンな問題を指摘します。 総じて、我々のレビューは学習曲線は驚くほど多様であり、普遍的なモデルは特定できないと指摘している。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• On the Foundations of Shortcut Learning [20.53986437152018]
  予測と可用性が形状モデルの特徴的利用とどのように相互作用するかを考察する。 線形モデルは比較的偏りがないが、ReLUやTanhの単位を持つ単一の隠蔽層を導入するとバイアスが生じる。
  論文  参考訳（メタデータ） (2023-10-24T22:54:05Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• When Do Curricula Work in Federated Learning? [56.88941905240137]
  カリキュラム学習は非IID性を大幅に軽減する。 クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。 本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
  論文  参考訳（メタデータ） (2022-12-24T11:02:35Z)
• A Survey of Learning Curves with Bad Behavior: or How More Data Need Not Lead to Better Performance [15.236871820889345]
  学習者の一般化性能をトレーニングセットサイズと比較すると、いわゆる学習曲線が得られる。 学習曲線の概念を(理想的に)正確にし、上記の曲線の使用法を簡潔に議論する。 この調査の焦点の大部分は、より多くのデータが必ずしもより良い一般化性能をもたらすとは限らないことを示す学習曲線に焦点を当てている。
  論文  参考訳（メタデータ） (2022-11-25T12:36:52Z)
• Beyond spectral gap: The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
  論文  参考訳（メタデータ） (2022-06-07T08:19:06Z)
• Learning Curves for Decision Making in Supervised Machine Learning -- A Survey [9.994200032442413]
  学習曲線は、機械学習の文脈で採用されている社会科学の概念である。 本稿では,学習曲線のアプローチを3つの基準を用いて分類する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-28T14:34:32Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• A Theory of Universal Learning [26.51949485387526]
  普遍的な学習の確率は3つしかないことを示す。 任意の概念クラスの学習曲線は指数的あるいは任意に遅い速度で減衰することを示す。
  論文  参考訳（メタデータ） (2020-11-09T15:10:32Z)
• Learning Curves for Analysis of Deep Networks [23.968036672913392]
  学習曲線はモデルパラメータを選択し、性能を外挿するのに使うことができる。 本研究では,学習曲線を頑健に推定し,パラメータを誤りとデータ信頼性に抽象化し,パラメータ化の有効性を評価する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T14:20:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。