論文の概要: Tradeoff of generalization error in unsupervised learning

• arxiv url: http://arxiv.org/abs/2303.05718v2
• Date: Tue, 12 Sep 2023 16:12:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 17:30:49.461465
• Title: Tradeoff of generalization error in unsupervised learning
• Title（参考訳）: 教師なし学習における一般化誤差のトレードオフ
• Authors: Gilhan Kim, Hojun Lee, Junghyo Jo, Yongjoo Baek
• Abstract要約: 一般に、教師なしの学習は、一般化誤差(GE)の2成分のトレードオフを示す より複雑なモデルを使用することで、データエラーのコストでモデルエラーを減らすことができる。 我々の結果は、学習すべきデータがより複雑である場合、最適モデルはより複雑である傾向があることを示唆している。
• 参考スコア（独自算出の注目度）: 0.6554326244334868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding the optimal model complexity that minimizes the generalization error (GE) is a key issue of machine learning. For the conventional supervised learning, this task typically involves the bias-variance tradeoff: lowering the bias by making the model more complex entails an increase in the variance. Meanwhile, little has been studied about whether the same tradeoff exists for unsupervised learning. In this study, we propose that unsupervised learning generally exhibits a two-component tradeoff of the GE, namely the model error and the data error -- using a more complex model reduces the model error at the cost of the data error, with the data error playing a more significant role for a smaller training dataset. This is corroborated by training the restricted Boltzmann machine to generate the configurations of the two-dimensional Ising model at a given temperature and the totally asymmetric simple exclusion process with given entry and exit rates. Our results also indicate that the optimal model tends to be more complex when the data to be learned are more complex.
• Abstract（参考訳）: 一般化誤差(GE)を最小限に抑える最適なモデル複雑性を見つけることは、機械学習の重要な問題である。 従来の教師付き学習では、このタスクは一般的にバイアス-ばらつきのトレードオフを伴い、モデルをより複雑にすることでバイアスを下げる。 一方で、教師なし学習に同じトレードオフが存在するかどうかについてはほとんど研究されていない。 本研究では,教師なし学習は一般に,モデルエラーとデータエラーという,geの2成分のトレードオフを示す。より複雑なモデルを用いることで,データエラーのコストでモデルエラーを低減し,データエラーがより小さなトレーニングデータセットにおいてより重要な役割を果たすことを提案する。 これは、制限ボルツマン機械を訓練し、与えられた温度で2次元イジングモデルの構成と、与えられた入出率で完全に非対称な単純な排他過程を生成することによって裏付けられる。 また, 学習対象のデータがより複雑である場合には, 最適モデルはより複雑になる傾向が示唆された。

関連論文リスト

• Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning [6.278498348219108]
  まず、(有効)自由度という古典的な統計的概念を再解釈し、拡張することで、第一原理からモデルの複雑さを再考する。 我々は,概念的議論,理論,実験の混合を通じて,提案した複雑性尺度の有用性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T06:09:57Z)
• Aliasing and Label-Independent Decomposition of Risk: Beyond the bias-variance trade-off [0.0]
  データサイエンスの中心的な問題は、潜在的にノイズの多いサンプルを使用して、目に見えない入力の関数値を予測することである。 一般化エイリアス分解(GAD)と呼ばれる代替パラダイムを導入する。 GADは、データラベルを見ることなく、モデルクラスとサンプルの関係から明示的に計算することができる。
  論文  参考訳（メタデータ） (2024-08-15T17:49:24Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• The Variability of Model Specification [2.4939887831898457]
  良いモデルはバイアスと分散の妥協である、という公理と見なされている。 本稿では,一般化線形モデル,コックス比例ハザードモデル,ARMAなどの回帰モデルフレームワークについて検討し,モデルの誤特定が分散に与える影響を考察する。
  論文  参考訳（メタデータ） (2021-10-06T03:59:19Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
  現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。 最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。 我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
  論文  参考訳（メタデータ） (2021-02-14T15:49:04Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。