論文の概要: Minimax Excess Risk of First-Order Methods for Statistical Learning with Data-Dependent Oracles
- arxiv url: http://arxiv.org/abs/2307.04679v3
- Date: Mon, 1 Jul 2024 11:44:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 18:09:56.563061
- Title: Minimax Excess Risk of First-Order Methods for Statistical Learning with Data-Dependent Oracles
- Title（参考訳）: データ依存型Oracleによる統計的学習のための1次手法のリスクを最小限に高める
- Authors: Kevin Scaman, Mathieu Even, Batiste Le Bars, Laurent Massoulié,
- Abstract要約: 我々は, 強い凸とスムーズな統計的学習の最小限超過リスクに対して, 鋭い上下境界を提供する。
この新しいオーラクルのクラスは、任意のデータ分布で勾配をクエリできる。
- 参考スコア（独自算出の注目度）: 25.557803548119466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, our aim is to analyse the generalization capabilities of first-order methods for statistical learning in multiple, different yet related, scenarios including supervised learning, transfer learning, robust learning and federated learning. To do so, we provide sharp upper and lower bounds for the minimax excess risk of strongly convex and smooth statistical learning when the gradient is accessed through partial observations given by a data-dependent oracle. This novel class of oracles can query the gradient with any given data distribution, and is thus well suited to scenarios in which the training data distribution does not match the target (or test) distribution. In particular, our upper and lower bounds are proportional to the smallest mean square error achievable by gradient estimators, thus allowing us to easily derive multiple sharp bounds in the aforementioned scenarios using the extensive literature on parameter estimation.
- Abstract（参考訳）: 本稿では,教師付き学習,移動学習,頑健な学習,フェデレーション学習などのシナリオにおいて,統計的学習のための一階述語学習の一般化能力を解析することを目的とする。
そこで我々は,データ依存のオラクルから得られる部分的な観測によって勾配がアクセスされる場合に,強い凸と滑らかな統計的学習の最小限超過リスクに対して,急激な上限と下限を提供する。
この新しいオーラクルのクラスは、任意のデータ分布と勾配をクエリできるため、トレーニングデータ分布がターゲット(またはテスト)分布と一致しないシナリオに適している。
特に、上と下の境界は勾配推定器によって達成できる最小の2乗誤差に比例するので、パラメータ推定に関する広範な文献を用いて、上記のシナリオにおける複数の鋭い境界を容易に導出することができる。
関連論文リスト
- Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - Nonparametric Linear Feature Learning in Regression Through Regularisation [0.0]
連立線形特徴学習と非パラメトリック関数推定のための新しい手法を提案する。
代替最小化を用いることで、データを反復的に回転させ、先頭方向との整合性を改善する。
提案手法の予測リスクは,最小限の仮定と明示的なレートで最小限のリスクに収束することを確認した。
論文 参考訳（メタデータ） (2023-07-24T12:52:55Z) - Taylor Learning [0.0]
経験的リスク最小化は、教師付き機械学習におけるほとんどの最適化の背後にある。
本稿では,勾配降下や経験的リスク最小化を用いない実解析関数モデルを構築するための学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-24T01:10:58Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (2022-07-29T02:34:19Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Minimax rate of consistency for linear models with missing values [0.0]
多くの実世界のデータセットでは、複数のソースが集約され、本質的に欠落した情報(センサーの故障、調査における未回答の疑問...)が欠落する。
本稿では,広範に研究された線形モデルに焦点をあてるが,不足する値が存在する場合には,非常に難しい課題であることが判明した。
最終的には、多くの学習タスクを解決し、入力機能の数を指数関数的にすることで、現在の現実世界のデータセットでは予測が不可能になる。
論文 参考訳（メタデータ） (2022-02-03T08:45:34Z) - Robust supervised learning with coordinate gradient descent [0.0]
偏微分のロバストな推定器を併用した学習アルゴリズムとして座標勾配降下法を提案する。
これにより、非破壊的な数値的な複雑性を持つ頑健な統計的学習法が導かれる。
論文 参考訳（メタデータ） (2022-01-31T17:33:04Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Theoretical bounds on estimation error for meta-learning [29.288915378272375]
複数の情報源のデータに基づいて学習し、新しいデータでテストしたアルゴリズムに対して、最小収束率に関する新しい情報理論の下限を提供する。
我々の境界は、データソース間で共有される情報に直感的に依存し、任意のアルゴリズムでこの設定で学習することの難しさを特徴づけます。
論文 参考訳（メタデータ） (2020-10-14T14:57:21Z) - Graph Embedding with Data Uncertainty [113.39838145450007]
スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。
ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
論文 参考訳（メタデータ） (2020-09-01T15:08:23Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。