論文の概要: On Statistical Efficiency in Learning
- arxiv url: http://arxiv.org/abs/2012.13307v1
- Date: Thu, 24 Dec 2020 16:08:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 08:04:43.762330
- Title: On Statistical Efficiency in Learning
- Title（参考訳）: 学習における統計的効率について
- Authors: Jie Ding, Enmao Diao, Jiawei Zhou, Vahid Tarokh
- Abstract要約: モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
- 参考スコア（独自算出の注目度）: 37.08000833961712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central issue of many statistical learning problems is to select an
appropriate model from a set of candidate models. Large models tend to inflate
the variance (or overfitting), while small models tend to cause biases (or
underfitting) for a given fixed dataset. In this work, we address the critical
challenge of model selection to strike a balance between model fitting and
model complexity, thus gaining reliable predictive power. We consider the task
of approaching the theoretical limit of statistical learning, meaning that the
selected model has the predictive performance that is as good as the best
possible model given a class of potentially misspecified candidate models. We
propose a generalized notion of Takeuchi's information criterion and prove that
the proposed method can asymptotically achieve the optimal out-sample
prediction loss under reasonable assumptions. It is the first proof of the
asymptotic property of Takeuchi's information criterion to our best knowledge.
Our proof applies to a wide variety of nonlinear models, loss functions, and
high dimensionality (in the sense that the models' complexity can grow with
sample size). The proposed method can be used as a computationally efficient
surrogate for leave-one-out cross-validation. Moreover, for modeling streaming
data, we propose an online algorithm that sequentially expands the model
complexity to enhance selection stability and reduce computation cost.
Experimental studies show that the proposed method has desirable predictive
power and significantly less computational cost than some popular methods.
- Abstract（参考訳）: 多くの統計的学習問題の中心的な問題は、候補モデルから適切なモデルを選択することである。
大きなモデルは分散(あるいは過剰適合)を増大させる傾向があり、小さなモデルは与えられた固定データセットに対するバイアス(または不適合)を引き起こす傾向にある。
本研究では,モデルフィッティングとモデル複雑性のバランスを保ち,信頼性の高い予測力を得るためのモデル選択という重要な課題に対処する。
統計的学習の理論的限界にアプローチするタスクを考えると、選択されたモデルは、潜在的に不特定な候補モデルのクラスが与えられたときの最良のモデルと同じくらいの予測性能を持つ。
本研究では,竹内情報基準の一般化概念を提案し,合理的な仮定の下で最適なアウトサンプル予測損失を漸近的に達成できることを実証する。
これは、竹内の情報基準が我々の最善の知識に対して漸近的であることを示す最初の証拠である。
我々の証明は、様々な非線形モデル、損失関数、高次元性(モデルの複雑さがサンプルサイズで増大するという意味で)に適用できる。
提案手法は, 計算効率のよいクロスバリデーションのためのサロゲートとして使用できる。
さらに,ストリーミングデータのモデル化のために,モデル複雑性を逐次拡大して選択安定性を高め,計算コストを低減するオンラインアルゴリズムを提案する。
実験により,提案手法は予測能力が望ましいこと,計算コストが一般的な手法に比べて著しく低いことがわかった。
関連論文リスト
- Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳（メタデータ） (2021-08-28T14:31:45Z) - Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。
我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
論文 参考訳（メタデータ） (2021-08-26T17:55:11Z) - Control-Oriented Model-Based Reinforcement Learning with Implicit
Differentiation [11.219641045667055]
そこで本研究では,暗黙の微分を用いたモデル学習において,期待値を直接最適化するエンド・ツー・エンドのアプローチを提案する。
モデル不特定化方式におけるアプローチの利点を、確率に基づく手法と比較した理論的および実証的な証拠を提供する。
論文 参考訳（メタデータ） (2021-06-06T23:15:49Z) - A non-asymptotic penalization criterion for model selection in mixture
of experts models [1.491109220586182]
ガウス型局所化moe(glome)回帰モデルを用いて異種データをモデル化する。
このモデルは、統計的推定とモデル選択の問題に関して難しい疑問を提起する。
本稿では,GLoMEモデルの成分数を推定する問題について,最大推定法を用いて検討する。
論文 参考訳（メタデータ） (2021-04-06T16:24:55Z) - A bandit-learning approach to multifidelity approximation [7.960229223744695]
マルチファイデリティ近似は、科学計算とシミュレーションにおいて重要な技術である。
異なる忠実度のデータを利用して正確な推定を行うためのバンディットラーニング手法を紹介します。
論文 参考訳（メタデータ） (2021-03-29T05:29:35Z) - BODAME: Bilevel Optimization for Defense Against Model Extraction [10.877450596327407]
私たちは、サービスプロバイダのアタッカーを最も推測する前提の下でモデル抽出を防ぐために、逆の設定を検討します。
真のモデルの予測を用いてサロゲートモデルを定式化する。
勾配降下に基づくアルゴリズムを用いて学習されるより複雑なモデルに対して,トラクタブル変換とアルゴリズムを与える。
論文 参考訳（メタデータ） (2021-03-11T17:08:31Z) - Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。
単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。
提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2021-03-06T19:30:32Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳（メタデータ） (2021-02-11T16:27:31Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。