論文の概要: Undecidability of Underfitting in Learning Algorithms
- arxiv url: http://arxiv.org/abs/2102.02850v2
- Date: Mon, 8 Feb 2021 17:48:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-09 11:55:04.877141
- Title: Undecidability of Underfitting in Learning Algorithms
- Title(参考訳): 学習アルゴリズムにおけるアンダーフィッティングの不確定性
- Authors: Sonia Sehra, David Flores, George D. Montanez
- Abstract要約: 符号化可能な学習アルゴリズムが、たとえ無制限のトレーニング時間が与えられたとしても、データセットに相応しいかどうかを決定することは、決定不可能であることを示す。
本稿では,この結果の重要性と,学習アルゴリズムが適合する情報理論および確率論的戦略を含む今後の研究への可能性について論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Using recent machine learning results that present an information-theoretic
perspective on underfitting and overfitting, we prove that deciding whether an
encodable learning algorithm will always underfit a dataset, even if given
unlimited training time, is undecidable. We discuss the importance of this
result and potential topics for further research, including
information-theoretic and probabilistic strategies for bounding learning
algorithm fit.
- Abstract(参考訳): 近年の機械学習の結果から,エンコード可能な学習アルゴリズムがデータセットに常に不適合であるかどうかを判断することは,無制限のトレーニング時間が与えられたとしても決定不可能であることを示す。
境界学習アルゴリズム適合のための情報理論および確率的戦略を含む、この結果の重要性とさらなる研究のための潜在的なトピックについて議論する。
関連論文リスト
- Latent Properties of Lifelong Learning Systems [59.50307752165016]
本稿では,生涯学習アルゴリズムの潜伏特性を推定するために,アルゴリズムに依存しないサロゲート・モデリング手法を提案する。
合成データを用いた実験により,これらの特性を推定するためのアプローチを検証する。
論文 参考訳(メタデータ) (2022-07-28T20:58:13Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳(メタデータ) (2022-07-01T17:58:29Z) - Sample-Efficient Reinforcement Learning in the Presence of Exogenous
Information [77.19830787312743]
実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。
本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。
内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
論文 参考訳(メタデータ) (2022-06-09T05:19:32Z) - Efficient Continual Learning Ensembles in Neural Network Subspaces [57.491318168337756]
そこで本研究では,アンサンブルモデルを用いることで,連続的な性能向上を図った。
我々は、計算的に有利であり、最先端の連続学習アルゴリズムより優れている新しい手法を導出する。
論文 参考訳(メタデータ) (2022-02-20T14:30:39Z) - Information-theoretic generalization bounds for black-box learning
algorithms [46.44597430985965]
我々は,学習アルゴリズムの出力ではなく,予測に含まれる情報に基づいて,教師付き学習アルゴリズムに対する情報理論の一般化境界を導出する。
本研究では,ディープラーニングの実践シナリオにおいて,提案した境界が一般化ギャップに密接に従っていることを示す。
論文 参考訳(メタデータ) (2021-10-04T17:28:41Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳(メタデータ) (2021-04-06T22:53:45Z) - Information fusion between knowledge and data in Bayesian network
structure learning [5.994412766684843]
本稿では,オープンソースのベイジィス構造学習システムで実装された情報融合手法について述べる。
結果は、限定データとビッグデータの両方で示され、ベイジスで利用可能なBN構造学習アルゴリズムが3つ適用されている。
論文 参考訳(メタデータ) (2021-01-31T15:45:29Z) - An Information-Theoretic Perspective on Overfitting and Underfitting [0.0]
本稿では,機械学習における過度な適合と不適合を理解するための情報理論フレームワークを提案する。
任意の分類アルゴリズムがデータセットを過度に適合させるかどうかを判断する際の形式的不確定性を証明する。
論文 参考訳(メタデータ) (2020-10-12T23:24:47Z) - Provably Efficient Exploration for Reinforcement Learning Using
Unsupervised Learning [96.78504087416654]
強化学習(RL)問題における効率的な探索に教師なし学習を用い,本パラダイムが有効であるかどうかを考察する。
本稿では,教師なし学習アルゴリズムと非線形表RLアルゴリズムという,2つのコンポーネント上に構築された汎用的なアルゴリズムフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-15T19:23:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。