論文の概要: Error Estimation for Random Fourier Features
- arxiv url: http://arxiv.org/abs/2302.11174v1
- Date: Wed, 22 Feb 2023 06:54:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 16:08:09.867500
- Title: Error Estimation for Random Fourier Features
- Title（参考訳）: ランダムフーリエ特徴量の誤差推定
- Authors: Junwen Yao, N. Benjamin Erichson, Miles E. Lopes
- Abstract要約: 本稿では, RFF近似の誤差を数値的に推定するブートストラップ手法を提案する。
誤差推定は問題に特異的であり、最悪のケース境界の悲観性を避ける。
この手法により、適応計算が可能となり、ユーザは粗い初期カーネル近似の誤差を迅速に検査できる。
- 参考スコア（独自算出の注目度）: 14.27855002079769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Random Fourier Features (RFF) is among the most popular and broadly
applicable approaches for scaling up kernel methods. In essence, RFF allows the
user to avoid costly computations on a large kernel matrix via a fast
randomized approximation. However, a pervasive difficulty in applying RFF is
that the user does not know the actual error of the approximation, or how this
error will propagate into downstream learning tasks. Up to now, the RFF
literature has primarily dealt with these uncertainties using theoretical error
bounds, but from a user's standpoint, such results are typically impractical --
either because they are highly conservative or involve unknown quantities. To
tackle these general issues in a data-driven way, this paper develops a
bootstrap approach to numerically estimate the errors of RFF approximations.
Three key advantages of this approach are: (1) The error estimates are specific
to the problem at hand, avoiding the pessimism of worst-case bounds. (2) The
approach is flexible with respect to different uses of RFF, and can even
estimate errors in downstream learning tasks. (3) The approach enables adaptive
computation, so that the user can quickly inspect the error of a rough initial
kernel approximation and then predict how much extra work is needed. Lastly, in
exchange for all of these benefits, the error estimates can be obtained at a
modest computational cost.
- Abstract（参考訳）: ランダムフーリエ機能(rff)はカーネルメソッドをスケールアップするための最も広く適用可能なアプローチのひとつです。
基本的に、RFFは、高速なランダム化近似により、大きなカーネル行列上のコスト計算を避けることができる。
しかし,RFFの適用の難しさは,ユーザが実際の近似誤差や,この誤りが下流学習タスクにどのように伝播するかを知らないことである。
これまで、RFFの文献は理論的な誤り境界を用いてこれらの不確実性に対処してきたが、ユーザの視点からすると、そのような結果は一般的に非現実的であり、保守的で、未知の量である。
本稿では,これらの一般的な問題にデータ駆動方式で対処するため,RFF近似の誤差を数値的に推定するブートストラップ手法を開発した。
このアプローチの3つの大きな利点は、(1)エラー推定は問題に固有のものであり、最悪のケース境界の悲観を回避できる。
2) この手法はRFFの異なる用途に対して柔軟であり,下流学習タスクの誤りを推定することもできる。
(3) 本手法は適応計算を可能にし, 粗い初期カーネル近似の誤差を迅速に検査し, どれだけの余分な作業が必要かを予測する。
最後に、これらの利点の全てと引き換えに、誤差推定は控えめな計算コストで得ることができる。
関連論文リスト
- Data-driven Error Estimation: Upper Bounding Multiple Errors with No Technical Debt [26.81883988098551]
本稿では,推定誤差のクラス/セットの最大誤差に対する高い確率上限を推定するために,有効信頼区間(CI)を同時に構築する問題を定式化する。
本稿では,最大誤差の上限を推定する完全データ駆動手法を提案する。
論文 参考訳（メタデータ） (2024-05-07T19:38:26Z) - DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文 参考訳（メタデータ） (2023-08-11T00:44:46Z) - RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。
提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。
私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
論文 参考訳（メタデータ） (2022-11-11T18:50:34Z) - Probabilistically Robust Learning: Balancing Average- and Worst-case
Performance [105.87195436925722]
我々は、正確で不安定な平均ケースと頑健で保守的な最悪のケースのギャップを埋める、堅牢性確率というフレームワークを提案する。
理論的には、このフレームワークはパフォーマンスと最悪のケースと平均ケース学習のサンプル複雑さの間のトレードオフを克服する。
論文 参考訳（メタデータ） (2022-02-02T17:01:38Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Estimating g-Leakage via Machine Learning [34.102705643128004]
本稿では,ブラックボックスシナリオにおけるシステムの情報漏洩を推定する問題について考察する。
システムの内部は学習者にとって未知であり、分析するには複雑すぎると仮定される。
機械学習(ML)アルゴリズムを用いて,g-vulnerabilityをブラックボックスで推定する手法を提案する。
論文 参考訳（メタデータ） (2020-05-09T09:26:36Z) - Error Estimation for Sketched SVD via the Bootstrap [60.67199274260768]
本稿では,スケッチ化された特異ベクトル/値の実際の誤差を数値的に推定する完全データ駆動型ブートストラップ法を開発した。
この方法は、スケッチされたオブジェクトのみで動作するため、計算コストが安い。
論文 参考訳（メタデータ） (2020-03-10T19:14:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。