論文の概要: An Information-Theoretic Perspective on Overfitting and Underfitting

• arxiv url: http://arxiv.org/abs/2010.06076v2
• Date: Fri, 6 Nov 2020 19:22:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 05:39:51.228095
• Title: An Information-Theoretic Perspective on Overfitting and Underfitting
• Title（参考訳）: オーバーフィッティングとアンダーフィッティングに関する情報理論的視点
• Authors: Daniel Bashir, George D. Montanez, Sonia Sehra, Pedro Sandoval Segura, Julius Lauw
• Abstract要約: 本稿では,機械学習における過度な適合と不適合を理解するための情報理論フレームワークを提案する。 任意の分類アルゴリズムがデータセットを過度に適合させるかどうかを判断する際の形式的不確定性を証明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an information-theoretic framework for understanding overfitting and underfitting in machine learning and prove the formal undecidability of determining whether an arbitrary classification algorithm will overfit a dataset. Measuring algorithm capacity via the information transferred from datasets to models, we consider mismatches between algorithm capacities and datasets to provide a signature for when a model can overfit or underfit a dataset. We present results upper-bounding algorithm capacity, establish its relationship to quantities in the algorithmic search framework for machine learning, and relate our work to recent information-theoretic approaches to generalization.
• Abstract（参考訳）: 本稿では,機械学習における過剰フィッティングと不適合を理解するための情報理論的枠組みを提案し,任意の分類アルゴリズムがデータセットに過剰フィットするかどうかを判断する形式的不確定性を証明する。 データセットからモデルに転送される情報を介してアルゴリズム容量を測定することで、アルゴリズム容量とデータセットのミスマッチを検討し、モデルがデータセットに過度に適合するか不適合であるかのシグネチャを提供する。 本稿では,アルゴリズム能力の上限化,機械学習のアルゴリズム検索フレームワークにおける量との関係の確立,および最近の情報理論的手法による一般化について述べる。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Structure Learning via Mutual Information [0.8702432681310399]
  本稿では、相互情報(MI)機能を用いて、データ内の機能的関係を学習し、表現するためのフレームワークを提案する。 本手法は,より効率的で一般化可能な学習アルゴリズムを実現することを目的としている。
  論文  参考訳（メタデータ） (2024-09-21T19:33:56Z)
• Selecting Interpretability Techniques for Healthcare Machine Learning models [69.65384453064829]
  医療では、いくつかの意思決定シナリオにおいて、医療専門家を支援するために解釈可能なアルゴリズムを採用することが追求されている。 本稿では, ポストホックとモデルベースという8つのアルゴリズムを概説する。
  論文  参考訳（メタデータ） (2024-06-14T17:49:04Z)
• Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
  我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。 単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。 我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-17T00:35:38Z)
• Topological Quality of Subsets via Persistence Matching Diagrams [0.196629787330046]
  我々は、トポロジカルデータ解析技術を用いて、そのデータセットに関するサブセットの品質を測定する。 特に,本手法では,選択したサブセットが教師付き学習モデルの貧弱な性能をもたらす可能性がある理由を説明することができる。
  論文  参考訳（メタデータ） (2023-06-04T17:08:41Z)
• Bures-Wasserstein Means of Graphs [60.42414991820453]
  本研究では,スムーズなグラフ信号分布の空間への埋め込みを通じて,グラフ平均を定義する新しいフレームワークを提案する。 この埋め込み空間において平均を求めることにより、構造情報を保存する平均グラフを復元することができる。 我々は,新しいグラフの意味の存在と特異性を確立し,それを計算するための反復アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-05-31T11:04:53Z)
• Detection and Evaluation of Clusters within Sequential Data [58.720142291102135]
  Block Markov Chainsのクラスタリングアルゴリズムは理論的最適性を保証する。 特に、私たちのシーケンシャルデータは、ヒトのDNA、テキスト、動物運動データ、金融市場から派生しています。 ブロックマルコフ連鎖モデルの仮定は、実際に探索データ解析において有意義な洞察を得られることが判明した。
  論文  参考訳（メタデータ） (2022-10-04T15:22:39Z)
• RandomSCM: interpretable ensembles of sparse classifiers tailored for omics data [59.4141628321618]
  決定規則の結合や解離に基づくアンサンブル学習アルゴリズムを提案する。 モデルの解釈可能性により、高次元データのバイオマーカー発見やパターン発見に有用である。
  論文  参考訳（メタデータ） (2022-08-11T13:55:04Z)
• Undecidability of Underfitting in Learning Algorithms [0.0]
  符号化可能な学習アルゴリズムが、たとえ無制限のトレーニング時間が与えられたとしても、データセットに相応しいかどうかを決定することは、決定不可能であることを示す。 本稿では,この結果の重要性と,学習アルゴリズムが適合する情報理論および確率論的戦略を含む今後の研究への可能性について論じる。
  論文  参考訳（メタデータ） (2021-02-04T19:35:05Z)
• Model-agnostic interpretation by visualization of feature perturbations [0.0]
  粒子群最適化アルゴリズムによって誘導される特徴の摂動を可視化し,モデルに依存しない解釈手法を提案する。 我々は,公開データセットに対して質的かつ定量的にアプローチを検証する。
  論文  参考訳（メタデータ） (2021-01-26T00:53:29Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。