論文の概要: Bias-Variance Trade-off and Overlearning in Dynamic Decision Problems
- arxiv url: http://arxiv.org/abs/2011.09349v2
- Date: Wed, 12 May 2021 16:37:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 03:45:07.476109
- Title: Bias-Variance Trade-off and Overlearning in Dynamic Decision Problems
- Title（参考訳）: 動的決定問題におけるバイアス分散トレードオフとオーバーラーニング
- Authors: A. Max Reppen and H. Mete Soner
- Abstract要約: 動的決定問題に対する現代のモンテカルロ型アプローチは、経験的損失最小化として再編成される。
これらの計算手法をこのフレームワークで解析し、それらの効果と一般化誤差に対する感受性を実証する。
- 参考スコア（独自算出の注目度）: 1.2183405753834562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern Monte Carlo-type approaches to dynamic decision problems are
reformulated as empirical loss minimization, allowing direct applications of
classical results from statistical machine learning. These computational
methods are then analyzed in this framework to demonstrate their effectiveness
as well as their susceptibility to generalization error. Standard uses of
classical results prove potential overlearning, thus bias-variance trade-off,
by connecting over-trained networks to anticipating controls. On the other
hand, non-asymptotic estimates based on Rademacher complexity show the
convergence of these algorithms for sufficiently large training sets. A
numerically studied stylized example illustrates these possibilities, including
the importance of problem dimension in the degree of overlearning, and the
effectiveness of this approach.
- Abstract（参考訳）: 現代のモンテカルロ型の動的決定問題へのアプローチは経験的損失最小化として再構成され、統計的機械学習から古典的結果を直接適用することができる。
これらの計算手法はこの枠組みで解析され、その効果と一般化誤差に対する感受性を示す。
古典的な結果の標準的利用は、過剰トレーニングされたネットワークを予測制御に接続することで、潜在的な過剰学習、すなわちバイアス分散トレードオフを証明している。
一方、Rademacher複雑性に基づく漸近的でない推定は、十分に大きなトレーニングセットに対するこれらのアルゴリズムの収束を示している。
数値的に研究された例は、オーバーラーニングの度合いにおける問題次元の重要性や、このアプローチの有効性など、これらの可能性を示している。
関連論文リスト
- Machine Learning for predicting chaotic systems [0.0]
我々は、よく調整された単純な手法と、未調整のベースライン手法が、しばしば最先端のディープラーニングモデルより優れていることを示す。
これらの結果は、データ特性と利用可能な計算資源に対するマッチング予測手法の重要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-07-29T16:34:47Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Learning Interpretable Deep Disentangled Neural Networks for
Hyperspectral Unmixing [16.02193274044797]
非線形性および終端変動を考慮した高スペクトルアンミックスのための新しい解釈可能な深層学習法を提案する。
モデルは、バックプロパゲーションを使用してエンドツーエンドに学習され、セルフ教師付き戦略を使用してトレーニングされる。
合成および実データを用いた実験結果から,提案手法の性能が示唆された。
論文 参考訳（メタデータ） (2023-10-03T18:21:37Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳（メタデータ） (2023-02-05T01:39:21Z) - On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。
最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文 参考訳（メタデータ） (2022-08-16T21:22:34Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳（メタデータ） (2021-03-16T16:26:36Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳（メタデータ） (2020-12-14T10:36:06Z) - Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep
Learning [29.473503894240096]
我々は、厳密な分類ではなく、単純な表現の値を取るデータにカテゴリ横断エントロピー損失を用いることに焦点をあてる。
このプラクティスは、ラベルの平滑化やアクター/ミリ波強化学習など、ニューラルネットワークアーキテクチャにおいて標準的なものだ。
我々はこれらのモデルに対して確率論的に着想を得た代替案を提案し、より原理的で理論的に魅力的であるアプローチを提供する。
論文 参考訳（メタデータ） (2020-11-10T16:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。