論文の概要: Concentration of Non-Isotropic Random Tensors with Applications to Learning and Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2102.04259v1
• Date: Thu, 4 Feb 2021 17:13:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 05:04:09.483049
• Title: Concentration of Non-Isotropic Random Tensors with Applications to Learning and Empirical Risk Minimization
• Title（参考訳）: 非等方性ランダムテンソルの学習と経験的リスク最小化への応用
• Authors: Mathieu Even and Laurent Massouli\'e
• Abstract要約: ディメンジョンは、最適化手法がデータのサイズに悩まされる現代の学習タスクに固有のボトルネックである。 環境よりも有効次元に依存して、これらの次元コストを削減するツールを開発する。 本稿では, 学習問題における非等方性特性の活用の重要性について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dimension is an inherent bottleneck to some modern learning tasks, where optimization methods suffer from the size of the data. In this paper, we study non-isotropic distributions of data and develop tools that aim at reducing these dimensional costs by a dependency on an effective dimension rather than the ambient one. Based on non-asymptotic estimates of the metric entropy of ellipsoids -- that prove to generalize to infinite dimensions -- and on a chaining argument, our uniform concentration bounds involve an effective dimension instead of the global dimension, improving over existing results. We show the importance of taking advantage of non-isotropic properties in learning problems with the following applications: i) we improve state-of-the-art results in statistical preconditioning for communication-efficient distributed optimization, ii) we introduce a non-isotropic randomized smoothing for non-smooth optimization. Both applications cover a class of functions that encompasses empirical risk minization (ERM) for linear models.
• Abstract（参考訳）: ディメンジョンは、最適化手法がデータのサイズに悩まされる現代の学習タスクに固有のボトルネックである。 本稿では,データの非等方的分布を考察し,環境よりも有効次元に依存して,これらの次元コストを削減するツールを開発する。 無限次元に一般化することを証明した楕円体の計量エントロピーの非漸近的推定と連鎖論に基づいて、我々の一様濃度境界は、大域次元の代わりに有効次元を伴い、既存の結果よりも改善される。 i) 通信効率のよい分散最適化のための統計的前提条件付けにおける最先端結果の改善, ii) 非スムース最適化のための非等方性ランダム化平滑化について紹介する。 どちらの応用も、線形モデルに対する経験的リスク最小化(ERM)を含む関数のクラスをカバーする。

関連論文リスト

• Assumption-Lean Post-Integrated Inference with Negative Control Outcomes [0.0]
  負の制御結果を用いて遅延不均一性を調整する頑健なポストインテグレート推論(PII)手法を提案する。 提案手法は,予測された直接効果推定値,隠された仲介者,共同設立者,モデレーターまで拡張する。 提案された二重頑健な推定器は、最小の仮定と潜在的な不特定性の下で一貫性があり、効率的である。
  論文  参考訳（メタデータ） (2024-10-07T12:52:38Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• A Metaheuristic for Amortized Search in High-Dimensional Parameter Spaces [0.0]
  本稿では,特徴インフォームド変換から次元還元を実現するメタヒューリスティックを提案する。 DR-FFITは、高次元空間における勾配自由パラメータ探索を容易にする効率的なサンプリング戦略を実装している。 実験データから,DR-FFITは,確立したメタヒューリスティックスに対するランダム検索とシミュレート・アニーリングの性能を向上させることが示された。
  論文  参考訳（メタデータ） (2023-09-28T14:25:14Z)
• Nonparametric Linear Feature Learning in Regression Through Regularisation [0.0]
  連立線形特徴学習と非パラメトリック関数推定のための新しい手法を提案する。 代替最小化を用いることで、データを反復的に回転させ、先頭方向との整合性を改善する。 提案手法の予測リスクは,最小限の仮定と明示的なレートで最小限のリスクに収束することを確認した。
  論文  参考訳（メタデータ） (2023-07-24T12:52:55Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Robust learning of data anomalies with analytically-solvable entropic outlier sparsification [0.0]
  Outlier Sparsification (EOS) はデータ異常検出のための堅牢な計算戦略として提案されている。 EOSの性能は、合成問題や、バイオメディシンからの部分的に分類された分類問題において、一般的に使用される様々なツールと比較される。
  論文  参考訳（メタデータ） (2021-12-22T10:13:29Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)
• Optimal statistical inference in the presence of systematic uncertainties using neural network optimization based on binned Poisson likelihoods with nuisance parameters [0.0]
  本研究は,特徴工学のためのニューラルネットワークによる次元削減を構築するための新しい戦略を提案する。 提案手法は, 最適に近い利害関係のパラメータを推定する方法について議論する。
  論文  参考訳（メタデータ） (2020-03-16T13:27:18Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。