論文の概要: Learning from Non-Random Data in Hilbert Spaces: An Optimal Recovery Perspective

• arxiv url: http://arxiv.org/abs/2006.03706v2
• Date: Fri, 11 Sep 2020 20:07:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 03:09:00.074542
• Title: Learning from Non-Random Data in Hilbert Spaces: An Optimal Recovery Perspective
• Title（参考訳）: ヒルベルト空間における非ランダムデータからの学習 : 最適回復の観点から
• Authors: Simon Foucart, Chunyang Liao, Shahin Shahrampour, Yinsong Wang
• Abstract要約: 最適回復の観点から回帰問題を考察する。 まず、有限次元ヒルベルト空間における任意の回復写像の最悪のケース誤差を計算する半定値プログラムを開発する。 最適回復法は,アルゴリズム的な視点からユーザフレンドリな式を提供する。
• 参考スコア（独自算出の注目度）: 12.674428374982547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The notion of generalization in classical Statistical Learning is often attached to the postulate that data points are independent and identically distributed (IID) random variables. While relevant in many applications, this postulate may not hold in general, encouraging the development of learning frameworks that are robust to non-IID data. In this work, we consider the regression problem from an Optimal Recovery perspective. Relying on a model assumption comparable to choosing a hypothesis class, a learner aims at minimizing the worst-case error, without recourse to any probabilistic assumption on the data. We first develop a semidefinite program for calculating the worst-case error of any recovery map in finite-dimensional Hilbert spaces. Then, for any Hilbert space, we show that Optimal Recovery provides a formula which is user-friendly from an algorithmic point-of-view, as long as the hypothesis class is linear. Interestingly, this formula coincides with kernel ridgeless regression in some cases, proving that minimizing the average error and worst-case error can yield the same solution. We provide numerical experiments in support of our theoretical findings.
• Abstract（参考訳）: 古典的統計学習における一般化の概念は、データポイントが独立かつ同一分散(iid)確率変数であるという仮定にしばしば付随する。 多くのアプリケーションに関連があるが、この仮定は一般的には成立せず、非IIDデータに対して堅牢な学習フレームワークの開発を促進する。 本研究では,回帰問題を最適回復の観点から検討する。 仮説クラスの選択に匹敵するモデル仮定に基づいて、学習者は、データに対する確率的仮定に言及することなく、最悪のケースエラーを最小限にすることを目的とする。 まず,有限次元ヒルベルト空間における任意の回復写像の最悪の場合誤差を計算する半定値プログラムを開発した。 そして、任意のヒルベルト空間に対して、仮説クラスが線型である限り、最適回復はアルゴリズム的な視点からユーザフレンドリな公式を提供することを示す。 興味深いことに、この公式はカーネルリッジレス回帰と一致する場合もあり、平均誤差と最悪のエラーを最小化すれば同じ解が得られることが証明されている。 我々は理論的な発見を支援するために数値実験を行う。

関連論文リスト

• High-dimensional logistic regression with missing data: Imputation, regularization, and universality [7.167672851569787]
  我々は高次元リッジ規則化ロジスティック回帰について検討する。 予測誤差と推定誤差の両方を正確に評価する。
  論文  参考訳（メタデータ） (2024-10-01T21:41:21Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• Efficient and Generalizable Certified Unlearning: A Hessian-free Recollection Approach [8.875278412741695]
  機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。 我々は,ベクトル加算操作のみを必要とするため,ほぼ瞬時に未学習を実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem [4.503368323711748]
  経験的観測から2つのヒルベルト空間の間の線型作用素を$theta$で学習する問題を考察する。 この目標を$theta$の逆問題として、フォワード演算子が一般に非コンパクトであるような特徴で再定義できることが示される。 この逆問題は、スカラー応答回帰の導出に伴う既知のコンパクト逆問題と等価であることを示す。
  論文  参考訳（メタデータ） (2022-11-16T12:33:01Z)
• Generalised Bayesian Inference for Discrete Intractable Likelihood [9.331721990371769]
  本稿では、離散的難易度に適した新しい一般化されたベイズ推論手法を開発する。 連続データに対する最近の方法論的な進歩にインスパイアされた主なアイデアは、離散的なフィッシャー分岐を用いてモデルパラメータに関する信念を更新することである。 結果は一般化された後部であり、マルコフ・モンテカルロのような標準的な計算ツールからサンプリングすることができる。
  論文  参考訳（メタデータ） (2022-06-16T19:36:17Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。