論文の概要: Risk Bounds for Learning via Hilbert Coresets
- arxiv url: http://arxiv.org/abs/2103.15569v1
- Date: Mon, 29 Mar 2021 12:39:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 22:53:22.593100
- Title: Risk Bounds for Learning via Hilbert Coresets
- Title(参考訳): Hilbert Coresetsによる学習のリスク境界
- Authors: Spencer Douglas, Piyush Kumar, R.K. Prasanth
- Abstract要約: 複素仮説クラスに対する密接かつ有意義な境界を明示的に計算する。
我々は、教師付き分類タスクの完全なサンプルリスクに対する上限を構築するためのフォーマリズムを開発する。
- 参考スコア(独自算出の注目度): 1.0312968200748116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a formalism for constructing stochastic upper bounds on the
expected full sample risk for supervised classification tasks via the Hilbert
coresets approach within a transductive framework. We explicitly compute tight
and meaningful bounds for complex datasets and complex hypothesis classes such
as state-of-the-art deep neural network architectures. The bounds we develop
exhibit nice properties: i) the bounds are non-uniform in the hypothesis space,
ii) in many practical examples, the bounds become effectively deterministic by
appropriate choice of prior and training data-dependent posterior distributions
on the hypothesis space, and iii) the bounds become significantly better with
increase in the size of the training set. We also lay out some ideas to explore
for future research.
- Abstract(参考訳): 変換的枠組みにおけるヒルベルト・コアセットのアプローチにより,教師付き分類タスクに期待される全サンプルリスクの確率的上限を構築する形式的手法を開発した。
我々は、複雑なデータセットと最先端のディープニューラルネットワークアーキテクチャのような複雑な仮説クラスに対して、厳密で有意義な境界を明示的に計算する。
i) 境界は仮説空間において一様でない、ii) 多くの実例において、事前および訓練データに依存した仮説空間の後方分布の適切な選択により、境界は効果的に決定論的になり、iii) 訓練集合の大きさが大きくなると、境界は著しく良くなる。
今後の研究のために、いくつかのアイデアも並べています。
関連論文リスト
- Blessing of Dimensionality for Approximating Sobolev Classes on Manifolds [14.183849746284816]
多様体仮説は、自然の高次元データが低次元多様体の周辺で支えられていることを言う。
統計的および学習に基づく手法の最近の成功は、この仮説を実証的に支持している。
我々は、一般化特性に直接関係する理論的な統計的複雑さの結果を提供する。
論文 参考訳(メタデータ) (2024-08-13T15:56:42Z) - Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳(メタデータ) (2024-03-02T00:56:05Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-08T16:06:29Z) - Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。
本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。
本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
論文 参考訳(メタデータ) (2023-11-10T15:33:19Z) - Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning [83.41487567765871]
Skipperはモデルベースの強化学習フレームワークである。
これは、与えられたタスクをより小さく、より管理しやすいサブタスクに自動的に一般化する。
環境の関連部分には、スパースな意思決定と集中した抽象化を可能にする。
論文 参考訳(メタデータ) (2023-09-30T02:25:18Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - STEERING: Stein Information Directed Exploration for Model-Based
Reinforcement Learning [111.75423966239092]
遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。
KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
論文 参考訳(メタデータ) (2023-01-28T00:49:28Z) - Open-Set Likelihood Maximization for Few-Shot Learning [36.97433312193586]
我々はFew-Shot Open-Set Recognition (FSOSR) 問題、すなわちいくつかのラベル付きサンプルしか持たないクラスのインスタンスを分類する問題に取り組む。
提案手法では,推論時に非競合なクエリインスタンスを利用する。
既存のトランスダクティブ手法はオープンセットのシナリオではうまく動作しないという観測により,最大極大原理の一般化を提案する。
論文 参考訳(メタデータ) (2023-01-20T01:56:19Z) - On the existence of global minima and convergence analyses for gradient
descent methods in the training of deep neural networks [3.198144010381572]
フィードフォワード深層ReLU ANNを任意に多数の隠蔽層で研究する。
我々は,そのようなANNの訓練において,ランダムなGD最適化手法のリスクを収束させることを証明した。
また、勾配流微分方程式の解も研究する。
論文 参考訳(メタデータ) (2021-12-17T18:55:40Z) - Uncertainty quantification for distributed regression [2.28438857884398]
平均推定器の不確かさを定量化する完全データ駆動手法を提案する。
すなわち、所定の決定論的予測セットに基づいて、平均推定器によって得られる予測に対して、同時的要素単位の信頼バンドを構築する。
また,本解析の副産物として,分割・分散型カーネルリッジ回帰に対するsup-norm整合性結果を得る。
論文 参考訳(メタデータ) (2021-05-24T17:33:19Z) - Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。
本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文 参考訳(メタデータ) (2020-02-18T16:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。