論文の概要: Optimal Kernel Quantile Learning with Random Features

• arxiv url: http://arxiv.org/abs/2408.13591v1
• Date: Sat, 24 Aug 2024 14:26:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 18:49:22.181409
• Title: Optimal Kernel Quantile Learning with Random Features
• Title（参考訳）: ランダム特徴量を用いた最適カーネル量子学習
• Authors: Caixing Wang, Xingdong Feng,
• Abstract要約: 本稿では、ランダムな特徴を持つカーネル量子化回帰(KQR-RF)の一般化研究について述べる。 本研究は,KQR-RFの能力依存学習率を,RF数に対する軽度条件下で確立する。 我々の仮定を少し修正することによって、キャパシティに依存した誤差解析が、リプシッツ連続損失のケースにも適用できる。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The random feature (RF) approach is a well-established and efficient tool for scalable kernel methods, but existing literature has primarily focused on kernel ridge regression with random features (KRR-RF), which has limitations in handling heterogeneous data with heavy-tailed noises. This paper presents a generalization study of kernel quantile regression with random features (KQR-RF), which accounts for the non-smoothness of the check loss in KQR-RF by introducing a refined error decomposition and establishing a novel connection between KQR-RF and KRR-RF. Our study establishes the capacity-dependent learning rates for KQR-RF under mild conditions on the number of RFs, which are minimax optimal up to some logarithmic factors. Importantly, our theoretical results, utilizing a data-dependent sampling strategy, can be extended to cover the agnostic setting where the target quantile function may not precisely align with the assumed kernel space. By slightly modifying our assumptions, the capacity-dependent error analysis can also be applied to cases with Lipschitz continuous losses, enabling broader applications in the machine learning community. To validate our theoretical findings, simulated experiments and a real data application are conducted.
• Abstract（参考訳）: ランダム機能(RF)アプローチは、スケーラブルなカーネルメソッドのための確立された効率的なツールであるが、既存の文献では、主にランダム機能付きカーネルリッジ回帰(KRR-RF)に焦点を当てている。 本稿では、KQR-RFにおけるチェック損失の非平滑性を考慮したカーネル量子化レグレッション(KQR-RF)の一般化研究について、改良されたエラー分解を導入し、KQR-RFとKRR-RFの新たな接続を確立する。 本研究は,KQR-RFの容量依存学習率を,いくつかの対数因子に最適化された極小RF数に対して軽度条件下で確立する。 重要なことは、データ依存サンプリング戦略を利用した理論的結果は、ターゲット量子関数が仮定されたカーネル空間と正確に一致しないような非依存的な設定をカバーするために拡張することができる。 私たちの仮定を少し修正することで、Lipschitzが連続的な損失を被るケースにもキャパシティ依存のエラー分析を適用することができ、機械学習コミュニティにおける幅広い応用を可能にします。 理論的な結果を検証するため,シミュレーション実験と実データ応用を行った。

関連論文リスト

• Sharp Analysis for KL-Regularized Contextual Bandits and RLHF [52.519416266840814]
  Reverse-Kullback-Leibler (KL) 正則化は、強化学習におけるポリシー最適化を強化する主要な手法である。 単純な2段階混合サンプリング戦略は, カバー係数に付加的な依存しか持たずに, サンプルの複雑さを達成できることが示される。 この結果は,より効率的なRLHFアルゴリズムの設計に光を当て,KL正規化とRLHFにおけるデータカバレッジの役割を包括的に理解するものである。
  論文  参考訳（メタデータ） (2024-11-07T11:22:46Z)
• Stein Random Feature Regression [18.477250397403722]
  スタインランダム特徴(SRF)は、高品質なRFFサンプルを生成し、非分析スペクトル測定後部を柔軟に近似するために用いられる。 SRFは、カーネル近似とベイズカーネル学習の両方を実行するために、ログ確率勾配の評価のみを必要とする。 カーネル近似とよく知られたGP回帰問題に基づくベースラインと比較することにより、SRFの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-06-01T13:24:48Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Error Bounds for Learning with Vector-Valued Random Features [2.375038919274297]
  本稿では,ベクトル値ランダム特徴量(RF)を用いた学習の包括的誤り解析を提供する。 この理論は、完全な無限次元入力出力設定におけるRFリッジ回帰のために開発された。
  論文  参考訳（メタデータ） (2023-05-26T18:00:08Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Oversampling Divide-and-conquer for Response-skewed Kernel Ridge Regression [20.00435452480056]
  本研究では,分割・分散手法の限界を克服するために,新しい応答適応分割戦略を開発する。 提案手法は, 従来のダックKRR推定値よりも小さい平均二乗誤差(AMSE)を有することを示す。
  論文  参考訳（メタデータ） (2021-07-13T04:01:04Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Random Forest (RF) Kernel for Regression, Classification and Survival [1.8275108630751844]
  正規化線形モデルを用いたデータ駆動RFカーネルの性能と特性を解明する。 連続的および生存的目標に対して、RFカーネルは高次元シナリオにおいてRFと競合することを示す。 また、回帰、分類、生存のための実生活データセットから、これらの知見が実際にどのように活用されるかを示す結果も提供する。
  論文  参考訳（メタデータ） (2020-08-31T20:21:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。