論文の概要: An Information-Theoretic Perspective on Overfitting and Underfitting
- arxiv url: http://arxiv.org/abs/2010.06076v2
- Date: Fri, 6 Nov 2020 19:22:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 05:39:51.228095
- Title: An Information-Theoretic Perspective on Overfitting and Underfitting
- Title(参考訳): オーバーフィッティングとアンダーフィッティングに関する情報理論的視点
- Authors: Daniel Bashir, George D. Montanez, Sonia Sehra, Pedro Sandoval Segura,
Julius Lauw
- Abstract要約: 本稿では,機械学習における過度な適合と不適合を理解するための情報理論フレームワークを提案する。
任意の分類アルゴリズムがデータセットを過度に適合させるかどうかを判断する際の形式的不確定性を証明する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an information-theoretic framework for understanding overfitting
and underfitting in machine learning and prove the formal undecidability of
determining whether an arbitrary classification algorithm will overfit a
dataset. Measuring algorithm capacity via the information transferred from
datasets to models, we consider mismatches between algorithm capacities and
datasets to provide a signature for when a model can overfit or underfit a
dataset. We present results upper-bounding algorithm capacity, establish its
relationship to quantities in the algorithmic search framework for machine
learning, and relate our work to recent information-theoretic approaches to
generalization.
- Abstract(参考訳): 本稿では,機械学習における過剰フィッティングと不適合を理解するための情報理論的枠組みを提案し,任意の分類アルゴリズムがデータセットに過剰フィットするかどうかを判断する形式的不確定性を証明する。
データセットからモデルに転送される情報を介してアルゴリズム容量を測定することで、アルゴリズム容量とデータセットのミスマッチを検討し、モデルがデータセットに過度に適合するか不適合であるかのシグネチャを提供する。
本稿では,アルゴリズム能力の上限化,機械学習のアルゴリズム検索フレームワークにおける量との関係の確立,および最近の情報理論的手法による一般化について述べる。
関連論文リスト
- Prospector Heads: Generalized Feature Attribution for Large Models &
Data [63.33062996732212]
本稿では,特徴帰属のための説明に基づく手法の,効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳(メタデータ) (2024-02-18T23:01:28Z) - Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。
単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。
我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文 参考訳(メタデータ) (2023-11-17T00:35:38Z) - Provably Efficient Representation Learning with Tractable Planning in
Low-Rank POMDP [81.00800920928621]
部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究
まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。
次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
論文 参考訳(メタデータ) (2023-06-21T16:04:03Z) - Bures-Wasserstein Means of Graphs [60.42414991820453]
本研究では,スムーズなグラフ信号分布の空間への埋め込みを通じて,グラフ平均を定義する新しいフレームワークを提案する。
この埋め込み空間において平均を求めることにより、構造情報を保存する平均グラフを復元することができる。
我々は,新しいグラフの意味の存在と特異性を確立し,それを計算するための反復アルゴリズムを提供する。
論文 参考訳(メタデータ) (2023-05-31T11:04:53Z) - Information Theoretic Lower Bounds for Information Theoretic Upper
Bounds [14.268363583731848]
コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。
本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。
既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
論文 参考訳(メタデータ) (2023-02-09T20:42:36Z) - Detection and Evaluation of Clusters within Sequential Data [58.720142291102135]
Block Markov Chainsのクラスタリングアルゴリズムは理論的最適性を保証する。
特に、私たちのシーケンシャルデータは、ヒトのDNA、テキスト、動物運動データ、金融市場から派生しています。
ブロックマルコフ連鎖モデルの仮定は、実際に探索データ解析において有意義な洞察を得られることが判明した。
論文 参考訳(メタデータ) (2022-10-04T15:22:39Z) - RandomSCM: interpretable ensembles of sparse classifiers tailored for
omics data [59.4141628321618]
決定規則の結合や解離に基づくアンサンブル学習アルゴリズムを提案する。
モデルの解釈可能性により、高次元データのバイオマーカー発見やパターン発見に有用である。
論文 参考訳(メタデータ) (2022-08-11T13:55:04Z) - Undecidability of Underfitting in Learning Algorithms [0.0]
符号化可能な学習アルゴリズムが、たとえ無制限のトレーニング時間が与えられたとしても、データセットに相応しいかどうかを決定することは、決定不可能であることを示す。
本稿では,この結果の重要性と,学習アルゴリズムが適合する情報理論および確率論的戦略を含む今後の研究への可能性について論じる。
論文 参考訳(メタデータ) (2021-02-04T19:35:05Z) - Model-agnostic interpretation by visualization of feature perturbations [0.0]
粒子群最適化アルゴリズムによって誘導される特徴の摂動を可視化し,モデルに依存しない解釈手法を提案する。
我々は,公開データセットに対して質的かつ定量的にアプローチを検証する。
論文 参考訳(メタデータ) (2021-01-26T00:53:29Z) - Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。
相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
論文 参考訳(メタデータ) (2020-09-07T16:47:30Z) - A semi-supervised sparse K-Means algorithm [3.04585143845864]
クラスタリングに必要な機能のサブグループを検出するために、教師なしスパースクラスタリング手法を用いることができる。
半教師付き手法では、ラベル付きデータを使用して制約を作成し、クラスタリングソリューションを強化することができる。
提案アルゴリズムは,他の半教師付きアルゴリズムの高性能性を保ち,また,情報的特徴から情報的特徴を識別する能力も保持していることを示す。
論文 参考訳(メタデータ) (2020-03-16T02:05:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。