論文の概要: On Statistical Efficiency in Learning
- arxiv url: http://arxiv.org/abs/2012.13307v1
- Date: Thu, 24 Dec 2020 16:08:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 08:04:43.762330
- Title: On Statistical Efficiency in Learning
- Title（参考訳）: 学習における統計的効率について
- Authors: Jie Ding, Enmao Diao, Jiawei Zhou, Vahid Tarokh
- Abstract要約: モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
- 参考スコア（独自算出の注目度）: 37.08000833961712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central issue of many statistical learning problems is to select an
appropriate model from a set of candidate models. Large models tend to inflate
the variance (or overfitting), while small models tend to cause biases (or
underfitting) for a given fixed dataset. In this work, we address the critical
challenge of model selection to strike a balance between model fitting and
model complexity, thus gaining reliable predictive power. We consider the task
of approaching the theoretical limit of statistical learning, meaning that the
selected model has the predictive performance that is as good as the best
possible model given a class of potentially misspecified candidate models. We
propose a generalized notion of Takeuchi's information criterion and prove that
the proposed method can asymptotically achieve the optimal out-sample
prediction loss under reasonable assumptions. It is the first proof of the
asymptotic property of Takeuchi's information criterion to our best knowledge.
Our proof applies to a wide variety of nonlinear models, loss functions, and
high dimensionality (in the sense that the models' complexity can grow with
sample size). The proposed method can be used as a computationally efficient
surrogate for leave-one-out cross-validation. Moreover, for modeling streaming
data, we propose an online algorithm that sequentially expands the model
complexity to enhance selection stability and reduce computation cost.
Experimental studies show that the proposed method has desirable predictive
power and significantly less computational cost than some popular methods.
- Abstract（参考訳）: 多くの統計的学習問題の中心的な問題は、候補モデルから適切なモデルを選択することである。
大きなモデルは分散(あるいは過剰適合)を増大させる傾向があり、小さなモデルは与えられた固定データセットに対するバイアス(または不適合)を引き起こす傾向にある。
本研究では,モデルフィッティングとモデル複雑性のバランスを保ち,信頼性の高い予測力を得るためのモデル選択という重要な課題に対処する。
統計的学習の理論的限界にアプローチするタスクを考えると、選択されたモデルは、潜在的に不特定な候補モデルのクラスが与えられたときの最良のモデルと同じくらいの予測性能を持つ。
本研究では,竹内情報基準の一般化概念を提案し,合理的な仮定の下で最適なアウトサンプル予測損失を漸近的に達成できることを実証する。
これは、竹内の情報基準が我々の最善の知識に対して漸近的であることを示す最初の証拠である。
我々の証明は、様々な非線形モデル、損失関数、高次元性(モデルの複雑さがサンプルサイズで増大するという意味で)に適用できる。
提案手法は, 計算効率のよいクロスバリデーションのためのサロゲートとして使用できる。
さらに,ストリーミングデータのモデル化のために,モデル複雑性を逐次拡大して選択安定性を高め,計算コストを低減するオンラインアルゴリズムを提案する。
実験により,提案手法は予測能力が望ましいこと,計算コストが一般的な手法に比べて著しく低いことがわかった。
関連論文リスト
- Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。
推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。
我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
論文 参考訳（メタデータ） (2024-11-02T07:06:53Z) - Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。
適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。
最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
論文 参考訳（メタデータ） (2023-10-05T14:08:42Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳（メタデータ） (2022-10-28T17:52:10Z) - A Statistical-Modelling Approach to Feedforward Neural Network Model Selection [0.8287206589886881]
フィードフォワードニューラルネットワーク(FNN)は非線形回帰モデルと見なすことができる。
FNNのためのベイズ情報基準(BIC)を用いて,新しいモデル選択法を提案する。
サンプル外性能よりもBICを選択することは、真のモデルを回復する確率を増大させる。
論文 参考訳（メタデータ） (2022-07-09T11:07:04Z) - A bandit-learning approach to multifidelity approximation [7.960229223744695]
マルチファイデリティ近似は、科学計算とシミュレーションにおいて重要な技術である。
異なる忠実度のデータを利用して正確な推定を行うためのバンディットラーニング手法を紹介します。
論文 参考訳（メタデータ） (2021-03-29T05:29:35Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z) - Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。
連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文 参考訳（メタデータ） (2020-07-11T19:44:09Z) - Maximum Entropy Model Rollouts: Fast Model Based Policy Optimization
without Compounding Errors [10.906666680425754]
我々は、最大エントロピーモデルロールアウト(MEMR)と呼ばれるダイナスタイルモデルに基づく強化学習アルゴリズムを提案する。
複雑なエラーをなくすために、我々はモデルを使って単一ステップのロールアウトを生成する。
論文 参考訳（メタデータ） (2020-06-08T21:38:15Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳（メタデータ） (2020-05-21T16:08:38Z) - Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。
提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。
提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2020-04-22T15:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。