論文の概要: Universal Regression with Adversarial Responses

• arxiv url: http://arxiv.org/abs/2203.05067v3
• Date: Sat, 10 Jun 2023 01:22:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 03:08:19.415142
• Title: Universal Regression with Adversarial Responses
• Title（参考訳）: 逆応答を伴う普遍回帰
• Authors: Mo\"ise Blanchard, Patrick Jaillet
• Abstract要約: 非I.d.インスタンスシーケンスの大規模クラスの下で、逆応答を伴う回帰のためのアルゴリズムを提供する。 我々は,学習者の強い一貫性を求める普遍的な一貫性を,値応答の制限なしに検討する。
• 参考スコア（独自算出の注目度）: 26.308541799686505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide algorithms for regression with adversarial responses under large classes of non-i.i.d. instance sequences, on general separable metric spaces, with provably minimal assumptions. We also give characterizations of learnability in this regression context. We consider universal consistency which asks for strong consistency of a learner without restrictions on the value responses. Our analysis shows that such an objective is achievable for a significantly larger class of instance sequences than stationary processes, and unveils a fundamental dichotomy between value spaces: whether finite-horizon mean estimation is achievable or not. We further provide optimistically universal learning rules, i.e., such that if they fail to achieve universal consistency, any other algorithms will fail as well. For unbounded losses, we propose a mild integrability condition under which there exist algorithms for adversarial regression under large classes of non-i.i.d. instance sequences. In addition, our analysis also provides a learning rule for mean estimation in general metric spaces that is consistent under adversarial responses without any moment conditions on the sequence, a result of independent interest.
• Abstract（参考訳）: 一般に分離可能な距離空間上の非i.i.d.インスタンス列のクラスで逆応答を持つ回帰アルゴリズムを提供する。 また,この回帰文脈における学習可能性の特徴付けを行う。 我々は,値応答の制約を伴わずに学習者の強い一貫性を求める普遍的一貫性を考える。 解析により、そのような目的は定常過程よりもはるかに大きなインスタンス列に対して達成可能であることを示し、値空間の基本的な二分法を明らかにする。 さらに、楽観的に普遍的な学習規則、すなわち、普遍的な一貫性を達成できなければ、他のアルゴリズムも失敗する。 非境界損失に対しては,非i.i.d.インスタンス列の大きなクラスの下で逆回帰を行うアルゴリズムが存在するような軽度可積分条件を提案する。 さらに,本解析は,シーケンス上のモーメント条件を伴わずに逆応答下で一貫性のある一般距離空間における平均推定の学習規則も提供する。

関連論文リスト

• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• Agnostic Multi-Robust Learning Using ERM [19.313739782029185]
  頑健な学習における根本的な問題は非対称性である: 学習者は指数関数的に多くの摂動の全てを正しく分類する必要がある。 これとは対照的に、攻撃者は1つの摂動を成功させる必要がある。 本稿では,新しいマルチグループ設定を導入し,新しいマルチロバスト学習問題を提案する。
  論文  参考訳（メタデータ） (2023-03-15T21:30:14Z)
• Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
  既存の一般化誤差境界は負の例の数$k$に線形に依存する。 対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
  論文  参考訳（メタデータ） (2023-02-24T01:03:56Z)
• Contextual Bandits and Optimistically Universal Learning [32.14208422566497]
  私たちは一貫性に重点を置いています -- 最適な政策に比べて後悔を消します。 非i.d.文脈の大規模クラスでは、時間不変の報酬機構によらず一貫性が達成できることが示される。
  論文  参考訳（メタデータ） (2022-12-31T16:15:28Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Root-finding Approaches for Computing Conformal Prediction Set [18.405645120971496]
  共形予測は、以前の同一分布および交換可能な観測に基づいて、特徴ベクトルの未観測応答に対する信頼領域を構築する。 我々は,共形予測集合が古典的ルートフィンディングソフトウェアによって効率的に近似できる区間であるという事実を活用する。
  論文  参考訳（メタデータ） (2021-04-14T06:41:12Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)
• Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles [112.89548995091182]
  我々は、文脈的帯域幅からオンライン回帰への、初めての普遍的で最適な削減を提供する。 我々のアルゴリズムは、実現可能性以上の分布仮定は必要とせず、コンテキストが逆選択された場合でも機能する。
  論文  参考訳（メタデータ） (2020-02-12T11:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。