論文の概要: Fast Estimation of Information Theoretic Learning Descriptors using
Explicit Inner Product Spaces
- arxiv url: http://arxiv.org/abs/2001.00265v1
- Date: Wed, 1 Jan 2020 20:21:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 09:19:04.459603
- Title: Fast Estimation of Information Theoretic Learning Descriptors using
Explicit Inner Product Spaces
- Title（参考訳）: 明示的内積空間を用いた情報理論学習記述子の高速推定
- Authors: Kan Li and Jose C. Principe
- Abstract要約: カーネル法は、信号処理や機械学習における非線形問題を解くため、理論的に座屈し、強力で汎用的な枠組みを形成する。
近年, NTカーネル適応フィルタ (KAF) を提案する。
我々は,内部積空間カーネルを用いたIPLの高速,スケーラブル,高精度な推定器群に着目した。
- 参考スコア（独自算出の注目度）: 4.5497405861975935
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kernel methods form a theoretically-grounded, powerful and versatile
framework to solve nonlinear problems in signal processing and machine
learning. The standard approach relies on the \emph{kernel trick} to perform
pairwise evaluations of a kernel function, leading to scalability issues for
large datasets due to its linear and superlinear growth with respect to the
training data. Recently, we proposed \emph{no-trick} (NT) kernel adaptive
filtering (KAF) that leverages explicit feature space mappings using
data-independent basis with constant complexity. The inner product defined by
the feature mapping corresponds to a positive-definite finite-rank kernel that
induces a finite-dimensional reproducing kernel Hilbert space (RKHS).
Information theoretic learning (ITL) is a framework where information theory
descriptors based on non-parametric estimator of Renyi entropy replace
conventional second-order statistics for the design of adaptive systems. An
RKHS for ITL defined on a space of probability density functions simplifies
statistical inference for supervised or unsupervised learning. ITL criteria
take into account the higher-order statistical behavior of the systems and
signals as desired. However, this comes at a cost of increased computational
complexity. In this paper, we extend the NT kernel concept to ITL for improved
information extraction from the signal without compromising scalability.
Specifically, we focus on a family of fast, scalable, and accurate estimators
for ITL using explicit inner product space (EIPS) kernels. We demonstrate the
superior performance of EIPS-ITL estimators and combined NT-KAF using EIPS-ITL
cost functions through experiments.
- Abstract（参考訳）: カーネル法は、信号処理と機械学習の非線形問題を解決するために理論的に根拠があり、強力で多用途な枠組みを形成する。
標準的なアプローチはカーネル関数のペアワイズ評価を行うために \emph{kernel trick} を頼りにしており、トレーニングデータに対する線形および超線形成長による大規模なデータセットのスケーラビリティの問題を引き起こす。
近年,データ非依存基底を用いた明示的な特徴空間マッピングを一定複雑性で活用する,kof(kernel adaptive filter)を提案している。
特徴写像によって定義される内部積は、有限次元再生カーネルヒルベルト空間(RKHS)を誘導する正定値有限ランク核に対応する。
情報理論学習(ITL)は、レニーエントロピーの非パラメトリック推定器に基づく情報理論記述器が、適応システムの設計のための従来の2次統計を置き換える枠組みである。
確率密度関数の空間上で定義される itl の rkhs は教師付きまたは教師なし学習の統計的推論を単純化する。
ITL基準は、所望のシステムと信号の高次統計挙動を考慮に入れている。
しかし、これは計算の複雑さが増大するコストが伴う。
本稿では、NTカーネルの概念をIPLに拡張し、スケーラビリティを損なうことなく信号から情報抽出を改善する。
具体的には、明示的な内部積空間(EIPS)カーネルを用いて、IPLの高速でスケーラブルで正確な推定を行う。
EIPS-ITL推定器とNT-KAFを組み合わせたEIPS-ITLコスト関数を実験により比較した。
関連論文リスト
- Analytic Convolutional Layer: A Step to Analytic Neural Network [15.596391258983463]
ACL(Analytic Convolutional Layer)は、分析的畳み込みカーネル(ACK)と従来の畳み込みカーネルのモザイクである。
ACLはニューラルネットワーク解釈の手段を提供するので、ニューラルネットワークの固有の解釈可能性の道を開くことができる。
論文 参考訳（メタデータ） (2024-07-03T07:10:54Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive
Kernels [35.76925787221499]
本稿では,ラジアル基底関数(RBF)カーネルを強化するための訓練可能なパラメータとして,局所適応バンド幅(LAB)の概念を紹介する。
LAB RBFカーネルのパラメータはデータ依存であり、データセットによってその数は増加する可能性がある。
本稿では,非対称なカーネルリッジ回帰フレームワークを初めて確立し,反復的なカーネル学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-08T17:08:15Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。
我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。
カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
論文 参考訳（メタデータ） (2022-09-29T15:53:19Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳（メタデータ） (2022-05-26T20:56:25Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。
我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。
CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-15T04:44:52Z) - The Fast Kernel Transform [21.001203328543006]
本稿では,FKT(Fast Kernel Transform:高速カーネル変換)を提案する。
FKT はガウス、マテルン、ラショナル四次共分散関数や物理的に動機付けられたグリーン関数など、幅広い種類のカーネルに容易に適用できる。
本稿では、時間と精度のベンチマークを提供することによりFKTの有効性と汎用性を説明し、それを近隣埋め込み(t-SNE)とガウス過程を大規模実世界のデータセットに拡張する。
論文 参考訳（メタデータ） (2021-06-08T16:15:47Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - A Mean-Field Theory for Learning the Sch\"{o}nberg Measure of Radial
Basis Functions [13.503048325896174]
トレーニングサンプルから放射基底関数のシュンベルク積分表現の分布を学習する。
スケーリング限界において、ランゲヴィン粒子の経験的測度が、反射的イオ拡散ドリフト過程の法則に収束することを証明する。
論文 参考訳（メタデータ） (2020-06-23T21:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。