論文の概要: Non-parametric Binary regression in metric spaces with KL loss

• arxiv url: http://arxiv.org/abs/2010.09886v1
• Date: Mon, 19 Oct 2020 21:42:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 22:44:22.978108
• Title: Non-parametric Binary regression in metric spaces with KL loss
• Title（参考訳）: KL損失を持つ距離空間における非パラメトリック二項回帰
• Authors: Ariel Avital, Klim Efremenko, Aryeh Kontorovich, David Toplin, Bo Waggoner
• Abstract要約: そこでは,パラメータ空間を [0,1] とするリプシッツ関数として仮説を正規化し,損失を対数とする二項回帰の非パラメトリック変項を提案する。 この設定は、新しい計算と統計の課題を提示する。
• 参考スコア（独自算出の注目度）: 15.178937896363452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a non-parametric variant of binary regression, where the hypothesis is regularized to be a Lipschitz function taking a metric space to [0,1] and the loss is logarithmic. This setting presents novel computational and statistical challenges. On the computational front, we derive a novel efficient optimization algorithm based on interior point methods; an attractive feature is that it is parameter-free (i.e., does not require tuning an update step size). On the statistical front, the unbounded loss function presents a problem for classic generalization bounds, based on covering-number and Rademacher techniques. We get around this challenge via an adaptive truncation approach, and also present a lower bound indicating that the truncation is, in some sense, necessary.
• Abstract（参考訳）: 計量空間を [0,1] とし、損失が対数であるようなリプシッツ関数として定式化される二項回帰の非パラメトリック変種を提案する。 この設定は、新しい計算および統計的課題を示す。 計算面では、内部点法に基づく新しい効率的な最適化アルゴリズムが導出され、パラメータフリーである(すなわち、更新ステップサイズをチューニングする必要がなくなる)のが特徴である。 統計面では、非有界損失関数は被覆数とラデマッハ法に基づく古典的な一般化境界の問題を示す。 適応的トランケーションアプローチによってこの課題を回避し、また、ある意味では、そのトランケーションが必要であることを示す下界を示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Efficient Low-rank Identification via Accelerated Iteratively Reweighted Nuclear Norm Minimization [8.879403568685499]
  パラメータの平滑化に適応的な更新戦略を導入する。 この振る舞いは、アルゴリズムを数回繰り返した後に、効果的に問題を解決するものに変えます。 すべてのイテレーションが重要なものであることを保証し、グローバルに提案された実験を証明します。
  論文  参考訳（メタデータ） (2024-06-22T02:37:13Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization [52.25843977506935]
  有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。 そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
  論文  参考訳（メタデータ） (2022-11-03T14:41:46Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• An Exponentially Increasing Step-size for Parameter Estimation in Statistical Models [37.63410634069547]
  本稿では,ガウス降下(GD)アルゴリズムのステップサイズを指数関数的に増加させることを提案する。 次に、非正規統計モデルの下でパラメータ推定を解くためのEGDアルゴリズムについて検討する。 EGDアルゴリズムの総計算複雑性は、非正則統計モデルにおけるパラメータ推定の解法として、GDよりも最適で指数関数的に安価である。
  論文  参考訳（メタデータ） (2022-05-16T21:36:22Z)
• Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
  パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。 そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。 後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
  論文  参考訳（メタデータ） (2022-03-19T13:39:49Z)
• Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck [14.309243378538012]
  本稿では,現在の後方中心のHellingerメトリックに対して,エラー近傍を修正可能なオンライン圧縮方式を提案する。 一定の誤差半径の場合、POG は集団後部の近傍 (Theorem 1(ii)) に収束するが、特徴空間の計量エントロピーによって決定される有限メモリのオン・ウォーストに収束する。
  論文  参考訳（メタデータ） (2020-04-23T11:52:06Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。