論文の概要: Statistical optimality conditions for compressive ensembles
- arxiv url: http://arxiv.org/abs/2106.01092v1
- Date: Wed, 2 Jun 2021 11:52:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 00:27:41.637329
- Title: Statistical optimality conditions for compressive ensembles
- Title（参考訳）: 圧縮アンサンブルの統計的最適条件
- Authors: Henry W. J. Reeve, Ata Kaban
- Abstract要約: 本研究では,高次元データの無作為圧縮を訓練した低複雑さ経験的リスク最小化器のアンサンブルの理論解析のための枠組みを提案する。
本稿では, 圧縮性の概念として, 余剰リスクに関する一般分布依存上界を導入する。
次に、ジョンソン-リンデンシュトラウス写像を圧縮スキームとして考慮し、この一般化を分類および回帰タスクに縛り付ける。
- 参考スコア（独自算出の注目度）: 7.766921168069532
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a framework for the theoretical analysis of ensembles of
low-complexity empirical risk minimisers trained on independent random
compressions of high-dimensional data. First we introduce a general
distribution-dependent upper-bound on the excess risk, framed in terms of a
natural notion of compressibility. This bound is independent of the dimension
of the original data representation, and explains the in-built regularisation
effect of the compressive approach. We then instantiate this general bound to
classification and regression tasks, considering Johnson-Lindenstrauss mappings
as the compression scheme. For each of these tasks, our strategy is to develop
a tight upper bound on the compressibility function, and by doing so we
discover distributional conditions of geometric nature under which the
compressive algorithm attains minimax-optimal rates up to at most
poly-logarithmic factors. In the case of compressive classification, this is
achieved with a mild geometric margin condition along with a flexible moment
condition that is significantly more general than the assumption of bounded
domain. In the case of regression with strongly convex smooth loss functions we
find that compressive regression is capable of exploiting spectral decay with
near-optimal guarantees. In addition, a key ingredient for our central upper
bound is a high probability uniform upper bound on the integrated deviation of
dependent empirical processes, which may be of independent interest.
- Abstract（参考訳）: 本稿では,高次元データの独立ランダム圧縮を訓練した低複雑さ経験的リスクミニマイザのアンサンブルを理論的に解析する枠組みを提案する。
まず, 圧縮可能性の自然な概念を用いて, 過剰リスクに対する一般分布依存上界を導入する。
この境界は元のデータ表現の次元とは独立であり、圧縮的アプローチの組込み正規化効果を説明する。
次に、ジョンソン-リンデンシュトラウス写像を圧縮スキームとして考慮し、この一般化を分類および回帰タスクに縛り付ける。
これらの課題のそれぞれに対して、圧縮可能性関数の厳密な上限を策定し、圧縮アルゴリズムが最小値-最適値の最大値を得るような幾何学的性質の分布条件を明らかにする。
圧縮分類の場合、これは、境界領域の仮定よりもはるかに一般的なフレキシブルモーメント条件とともに、穏やかな幾何学的マージン条件で達成される。
強い凸な滑らかな損失関数を持つ回帰の場合、圧縮回帰は、ほぼ最適の保証でスペクトル減衰を利用することができる。
加えて、中央上界の鍵となる要素は、依存経験過程の統合的偏差の高確率一様上界であり、これは独立した興味を持つかもしれない。
関連論文リスト
- Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
分散最適化では、通信モデルの更新がパフォーマンスのボトルネックになる可能性がある。
最適化向上の手段として勾配圧縮法が提案されている。
我々は, 圧縮がスループットに与える影響を, ヘッセン目標のノルムの観点から検討する。
論文 参考訳（メタデータ） (2024-11-19T22:26:42Z) - Blessing of Dimensionality for Approximating Sobolev Classes on Manifolds [14.183849746284816]
多様体仮説は、自然の高次元データが低次元多様体の周辺で支えられていることを言う。
統計的および学習に基づく手法の最近の成功は、この仮説を実証的に支持している。
我々は、一般化特性に直接関係する理論的な統計的複雑さの結果を提供する。
論文 参考訳（メタデータ） (2024-08-13T15:56:42Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Statistical Optimality of Divide and Conquer Kernel-based Functional
Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。
分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文 参考訳（メタデータ） (2022-11-20T12:29:06Z) - Distribution Regression with Sliced Wasserstein Kernels [45.916342378789174]
分布回帰のための最初のOTに基づく推定器を提案する。
このような表現に基づくカーネルリッジ回帰推定器の理論的性質について検討する。
論文 参考訳（メタデータ） (2022-02-08T15:21:56Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳（メタデータ） (2021-07-23T19:38:17Z) - Online and Distribution-Free Robustness: Regression and Contextual
Bandits with Huber Contamination [29.85468294601847]
線形回帰と文脈的帯域幅という2つの古典的高次元オンライン学習問題を再考する。
従来の手法が失敗した場合にアルゴリズムが成功することを示す。
論文 参考訳（メタデータ） (2020-10-08T17:59:05Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳（メタデータ） (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。