論文の概要: Random Features for Kernel Approximation: A Survey on Algorithms, Theory, and Beyond

• arxiv url: http://arxiv.org/abs/2004.11154v5
• Date: Sun, 11 Jul 2021 18:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 09:13:09.355569
• Title: Random Features for Kernel Approximation: A Survey on Algorithms, Theory, and Beyond
• Title（参考訳）: カーネル近似のためのランダム特徴:アルゴリズム、理論、およびそれ以上に関する調査
• Authors: Fanghui Liu, Xiaolin Huang, Yudong Chen, and Johan A.K. Suykens
• Abstract要約: 本研究では,過去10年間のランダムな特徴に関する研究を体系的にレビューする。 まず、代表的ランダム特徴量に基づくアルゴリズムのモチベーション、特徴、貢献について要約する。 第2に, 高い近似品質を確保するために, ランダムな特徴がいくつ必要かという, 以下の重要な問題を中心にした理論的結果について検討する。 第三に、いくつかの大規模ベンチマークデータセットに基づいて、一般的な乱数特徴に基づくアルゴリズムの包括的な評価を行う。
• 参考スコア（独自算出の注目度）: 35.32894170512829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random features is one of the most popular techniques to speed up kernel methods in large-scale problems. Related works have been recognized by the NeurIPS Test-of-Time award in 2017 and the ICML Best Paper Finalist in 2019. The body of work on random features has grown rapidly, and hence it is desirable to have a comprehensive overview on this topic explaining the connections among various algorithms and theoretical results. In this survey, we systematically review the work on random features from the past ten years. First, the motivations, characteristics and contributions of representative random features based algorithms are summarized according to their sampling schemes, learning procedures, variance reduction properties and how they exploit training data. Second, we review theoretical results that center around the following key question: how many random features are needed to ensure a high approximation quality or no loss in the empirical/expected risks of the learned estimator. Third, we provide a comprehensive evaluation of popular random features based algorithms on several large-scale benchmark datasets and discuss their approximation quality and prediction performance for classification. Last, we discuss the relationship between random features and modern over-parameterized deep neural networks (DNNs), including the use of high dimensional random features in the analysis of DNNs as well as the gaps between current theoretical and empirical results. This survey may serve as a gentle introduction to this topic, and as a users' guide for practitioners interested in applying the representative algorithms and understanding theoretical results under various technical assumptions. We hope that this survey will facilitate discussion on the open problems in this topic, and more importantly, shed light on future research directions.
• Abstract（参考訳）: ランダム機能は、大規模な問題においてカーネルメソッドを高速化する最も一般的な手法の1つである。 2017年にはNeurIPS Test-of-Time Award、2019年にはICML Best Paper Finalistが受賞した。 ランダムな特徴に関する研究の本体は急速に成長しており、様々なアルゴリズムと理論的結果の関連性を説明する上で、この話題を包括的に概観することが望ましい。 本研究では,過去10年間のランダムな特徴に関する研究を体系的にレビューする。 まず,代表的ランダム特徴に基づくアルゴリズムのモチベーション,特徴,貢献を,サンプリングスキーム,学習手順,分散還元特性,トレーニングデータの利用方法に応じて要約する。 第2に,学習した推定者の経験的・予測的リスクの損失がないことを保証するために,ランダムな特徴がいくつ必要か,という疑問を中心に,理論的結果について検討する。 第3に,いくつかの大規模ベンチマークデータセットに基づく一般的なランダム特徴量に基づくアルゴリズムの包括的評価を行い,分類におけるその近似品質と予測性能について考察する。 最後に、DNNの分析における高次元ランダム特徴の利用や、現在の理論的および経験的結果のギャップを含む、ランダム特徴と現代の過パラメータ化ディープニューラルネットワーク(DNN)の関係について論じる。 この調査は、このトピックの穏やかな紹介や、代表的アルゴリズムの適用や様々な技術的前提の下での理論的結果の理解に関心のある実践者のためのユーザガイドとして機能する可能性がある。 この調査が、このトピックのオープンな問題、さらに重要なこととして、今後の研究の方向性に関する議論を促進することを期待しています。

関連論文リスト

• Implicit Generative Prior for Bayesian Neural Networks [8.013264410621357]
  複雑なデータ構造のための新しいニューラルネットワーク型経験ベイズ(NA-EB)フレームワークを提案する。 NA-EBフレームワークは変分推論と勾配上昇アルゴリズムを組み合わせたものである。 各種タスクの広範囲な評価を通じて,本フレームワークの実践的応用を実証する。
  論文  参考訳（メタデータ） (2024-04-27T21:00:38Z)
• Subject-specific Deep Neural Networks for Count Data with High-cardinality Categorical Features [1.2289361708127877]
  本稿では,ポアソンディープニューラルネットワークにガンマランダム効果を導入するための新しい階層的確率学習フレームワークを提案する。 提案手法は,固定パラメータの最大極大推定器とランダム効果の最適非バイアス予測器を同時に生成する。 最先端のネットワークアーキテクチャは、提案されたh-likelihoodフレームワークに容易に実装できる。
  論文  参考訳（メタデータ） (2023-10-18T01:54:48Z)
• Regularization-Based Methods for Ordinal Quantification [49.606912965922504]
  順序の場合、すなわち n>2 クラスの集合上で全順序が定義される場合について研究する。 本稿では,従来のアルゴリズムよりも優れた正規化OQアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-13T16:04:06Z)
• Rethinking Complex Queries on Knowledge Graphs with Neural Link Predictors [58.340159346749964]
  本稿では,証明可能な推論能力を備えた複雑なクエリを用いたエンドツーエンド学習を支援するニューラルシンボリック手法を提案する。 これまでに検討されていない10種類の新しいクエリを含む新しいデータセットを開発する。 提案手法は,新しいデータセットにおいて先行手法を著しく上回り,既存データセットにおける先行手法を同時に上回っている。
  論文  参考訳（メタデータ） (2023-04-14T11:35:35Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Quantitative performance evaluation of Bayesian neural networks [0.0]
  ディープラーニングの不確実性に関する訴訟が増えているにもかかわらず、不確実性推定の品質は未解決の問題のままである。 本研究では,サンプリングタスクと回帰タスクにおける複数のアルゴリズムの性能評価を試みる。
  論文  参考訳（メタデータ） (2022-06-08T06:56:50Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Critically Examining the Claimed Value of Convolutions over User-Item Embedding Maps for Recommender Systems [14.414055798999764]
  近年,推薦システムの領域におけるアルゴリズム研究は,行列因数分解技術からニューラルアプローチへと移行している。 文献で報告された主張利益は, 埋め込み相関をモデル化するCNNの能力によるものではない, という分析的考察と実証的評価を通して示す。
  論文  参考訳（メタデータ） (2020-07-23T10:03:47Z)
• A Survey on Causal Inference [64.45536158710014]
  因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。 観測データに対する様々な因果効果推定法が誕生した。
  論文  参考訳（メタデータ） (2020-02-05T21:35:29Z)
• Convolutional Neural Networks as Summary Statistics for Approximate Bayesian Computation [0.0]
  本稿では,時間応答の情報的要約統計を自動学習する畳み込みニューラルネットワークアーキテクチャを提案する。 提案するネットワークは,ABC推論における前処理ステップの統計選択問題を効果的に回避できることを示す。
  論文  参考訳（メタデータ） (2020-01-31T10:46:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。