論文の概要: Clipping the Price of Adaptivity at the Tail

• arxiv url: http://arxiv.org/abs/2606.22669v1
• Date: Sun, 21 Jun 2026 21:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 07:43:17.956227
• Title: Clipping the Price of Adaptivity at the Tail
• Title（参考訳）: テールにおける適応性の価格を下げる
• Authors: Itai Kreisler, Yair Carmon, Oliver Hinder,
• Abstract要約: 適応凸最適化(SCO)法は適応性の障壁の基本的な価格に直面している。 我々は、多くの学習問題に共通する少量の付加構造を必要とすることにより、この障壁を回避する。 この仮定に基づき、固定参照モデルの出力から過度に逸脱するテールイベントにおいて、学習したモデル出力をクリップする手法を設計する。
• 参考スコア（独自算出の注目度）: 16.64054923597802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive stochastic convex optimization (SCO) methods face a fundamental ``price of adaptivity'' barrier: under the standard set of assumptions, they cannot efficiently adapt to large uncertainty in both the initial distance to optimality and the Lipschitz constant. We circumvent this barrier by requiring a small amount of additional structure common to many learning problems. Specifically, we assume that the objective decomposes into a model and a loss function, enabling us to intervene by modifying the model's output before it passes to the loss function. Under this assumption, we design a method that clips the learned model output in tail events where it deviates too much from the output of a fixed reference model. Our method matches the optimal bounds for known-parameter SCO up to logarithmic factors in the uncertainty in the distance and Lipschitz parameters, thus efficiently adapting to large uncertainty in both.
• Abstract（参考訳）: 適応確率凸最適化(SCO)法は、標準的な仮定セットの下では、初期距離から最適度とリプシッツ定数の両方において、大きな不確実性に効率的に適応することはできない。 我々は、多くの学習問題に共通する少量の付加構造を必要とすることにより、この障壁を回避する。 具体的には、目的がモデルと損失関数に分解され、損失関数に渡す前にモデルの出力を変更することで介入することができると仮定する。 この仮定に基づき、固定参照モデルの出力から過度に逸脱するテールイベントにおいて、学習したモデル出力をクリップする手法を設計する。 提案手法は,未知パラメータSCOの最適境界値と距離の不確かさおよびリプシッツパラメータの不確かさの対数的要因とを一致させ,両パラメータに大きな不確かさに効率よく適応する。

関連論文リスト

• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks [1.4671424999873808]
  不確実性は安全性に敏感なアプリケーションでは重要であるが、予測性能に悪影響を及ぼすため、市販のニューラルネットワークから排除されることが多い。 本稿では,従来の入力と凍結モデルの両方に補助モデルを適用することにより,回帰タスクにおけるポストホック不確実性推定のための理論的基盤となるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-01T09:13:27Z)
• Debiased Ill-Posed Regression [8.495265117285223]
  本稿では,予測誤差の修正による影響関数に基づく偏り推定手法を提案する。 提案した推定器は、関連するニュアンス関数に対して二階偏差を有する。
  論文  参考訳（メタデータ） (2025-05-27T06:47:33Z)
• Adaptive Conformal Inference by Betting [51.272991377903274]
  データ生成プロセスについて仮定することなく適応型共形推論の問題を考察する。 適応型共形推論のための既存のアプローチは、オンライン勾配勾配の変種を用いたピンボール損失の最適化に基づいている。 本稿では,パラメータフリーなオンライン凸最適化手法を利用した適応型共形推論手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T18:42:08Z)
• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• The Price of Adaptivity in Stochastic Convex Optimization [23.776027867314628]
  非平滑凸最適化における適応性の証明を行う。 準最適性の乗法的増加を測定する「適応性の値」(PoA)を定義する。
  論文  参考訳（メタデータ） (2024-02-16T18:56:41Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Support estimation in high-dimensional heteroscedastic mean regression [2.07180164747172]
  ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。 我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。 得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
  論文  参考訳（メタデータ） (2020-11-03T09:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。