論文の概要: Refined Risk Bounds for Unbounded Losses via Transductive Priors

• arxiv url: http://arxiv.org/abs/2410.21621v1
• Date: Tue, 29 Oct 2024 00:01:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:43.769799
• Title: Refined Risk Bounds for Unbounded Losses via Transductive Priors
• Title（参考訳）: トランスダクティブ優先による非有界損失の補充リスク境界
• Authors: Jian Qian, Alexander Rakhlin, Nikita Zhivotovskiy,
• Abstract要約: 線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
• 参考スコア（独自算出の注目度）: 58.967816314671296
• License:
• Abstract: We revisit the sequential variants of linear regression with the squared loss, classification problems with hinge loss, and logistic regression, all characterized by unbounded losses in the setup where no assumptions are made on the magnitude of design vectors and the norm of the optimal vector of parameters. The key distinction from existing results lies in our assumption that the set of design vectors is known in advance (though their order is not), a setup sometimes referred to as transductive online learning. While this assumption seems similar to fixed design regression or denoising, we demonstrate that the sequential nature of our algorithms allows us to convert our bounds into statistical ones with random design without making any additional assumptions about the distribution of the design vectors--an impossibility for standard denoising results. Our key tools are based on the exponential weights algorithm with carefully chosen transductive (design-dependent) priors, which exploit the full horizon of the design vectors. Our classification regret bounds have a feature that is only attributed to bounded losses in the literature: they depend solely on the dimension of the parameter space and on the number of rounds, independent of the design vectors or the norm of the optimal solution. For linear regression with squared loss, we further extend our analysis to the sparse case, providing sparsity regret bounds that additionally depend on the magnitude of the response variables. We argue that these improved bounds are specific to the transductive setting and unattainable in the worst-case sequential setup. Our algorithms, in several cases, have polynomial time approximations and reduce to sampling with respect to log-concave measures instead of aggregating over hard-to-construct $\varepsilon$-covers of classes.
• Abstract（参考訳）: 設計ベクトルの大きさやパラメータの最適ベクトルのノルムを仮定しない設定において、線形回帰の逐次変分を2乗損失、ヒンジ損失を伴う分類問題、ロジスティック回帰で再検討する。 既存の結果との大きな違いは、設計ベクトルの集合が(順序はそうではないが)事前に知られているという仮定にある。 この仮定は固定設計回帰や復調と似ているが、我々のアルゴリズムのシーケンシャルな性質は、設計ベクトルの分布について追加の仮定を行うことなく、ランダムな設計で境界を統計的に変換することができることを実証する。 我々の鍵となるツールは、設計ベクトルの完全な水平線を利用する、慎重に選択されたトランスダクティブ(設計に依存しない)事前の指数重み付けアルゴリズムに基づいている。 我々の分類的遺言境界は、文学における有界損失にのみ起因する特徴を持つ:それらはパラメータ空間の次元と、設計ベクトルや最適解のノルムとは独立なラウンドの数にのみ依存する。 正方形損失を持つ線形回帰について、我々は解析をさらにスパースケースにまで拡張し、さらに応答変数の大きさに依存する空間的後悔境界を提供する。 これらの改善された境界は、トランスダクティブな設定に特有であり、最悪のケースのシーケンシャルな設定では達成不可能である、と我々は主張する。 我々のアルゴリズムは、いくつかの場合において多項式時間近似を持ち、難解な$\varepsilon$-coversのクラスを集約する代わりに、ログコンケーブ対策のサンプリングに還元する。

関連論文リスト

• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Decision-Focused Learning with Directional Gradients [1.2363103948638432]
  そこで我々は,予測最適化フレームワークとして,摂動勾配損失(PG損失)と呼ばれる,決定を意識した新たなサロゲート損失のファミリーを提案する。 通常、断片的に一定かつ不連続な元の決定損失とは異なり、新しいPG損失はリプシッツ連続であり、凹函数の違いである。 我々は,PG損失が,基礎モデルが不明確である場合に,既存の提案よりも実質上優れていることを示す数値的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T18:14:28Z)
• Towards Optimal Sobolev Norm Rates for the Vector-Valued Regularized Least-Squares Algorithm [30.08981916090924]
  無限次元ベクトル値リッジ回帰の最初の最適速度を、$L$と仮説空間の間を補間するノルムの連続スケールに提示する。 これらの値は、ほとんどの場合最適であり、出力空間の次元に依存しないことを示す。
  論文  参考訳（メタデータ） (2023-12-12T11:48:56Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Consistency of some sequential experimental design strategies for excursion set estimation based on vector-valued Gaussian processes [0.32634122554914]
  ステップワイド不確かさ低減のための連続実験設計戦略において,ベクトル値の整合性のケースの拡張に取り組んだ。 本研究では, 自動海洋サンプリングのためのベクトル値付きガウス確率場の探索集合, The Annals of Applied Statistics 15, 2021] を用いて, ベクトル値付き関数の探索集合を推定するために, 統合ベルヌーイ変数と期待値の不確実性関数に適用する。
  論文  参考訳（メタデータ） (2023-10-11T09:02:03Z)
• On the Inconsistency of Kernel Ridgeless Regression in Fixed Dimensions [16.704246627541103]
  翻訳不変なカーネルを持つカーネルマシンである予測器の重要なクラスが、固定次元における良さの過度なオーバーフィッティングを示さないことを示す。 この結果は、ガウス、ラプラス、コーシーなどの一般的な翻訳不変カーネルに適用できる。
  論文  参考訳（メタデータ） (2022-05-26T17:43:20Z)
• More is Less: Inducing Sparsity via Overparameterization [2.885175627590247]
  ディープラーニングでは、ニューラルネットワークを過度にパラメータ化する、すなわち、トレーニングサンプルよりも多くのパラメータを使用することが一般的である。 驚くほど驚くべきことに、(確率的な)勾配勾配によるニューラルネットワークを一般化すると、それは非常にうまく行く。 我々の証明は、流れのあるブレグマンの発散を分析することに依存している。
  論文  参考訳（メタデータ） (2021-12-21T07:55:55Z)
• A Precise Performance Analysis of Support Vector Regression [105.94855998235232]
  我々は,n$の線形測定に応用したハードおよびソフトサポートベクター回帰法について検討した。 得られた結果は、ハードおよびソフトサポートベクトル回帰アルゴリズムの設計に介入するパラメータを最適に調整するために使用される。
  論文  参考訳（メタデータ） (2021-05-21T14:26:28Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。