論文の概要: Parameter-free Statistically Consistent Interpolation:
Dimension-independent Convergence Rates for Hilbert kernel regression
- arxiv url: http://arxiv.org/abs/2106.03354v1
- Date: Mon, 7 Jun 2021 05:50:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-09 11:28:05.646139
- Title: Parameter-free Statistically Consistent Interpolation:
Dimension-independent Convergence Rates for Hilbert kernel regression
- Title（参考訳）: パラメータフリー統計連立補間:ヒルベルト核回帰のための次元非依存収束速度
- Authors: Partha P Mitra and Cl\'ement Sire
- Abstract要約: 最近提案された重み付き補間近接補間法 (wiNN) はこのクラスに属する。
プラグインの余剰リスクは 2|f(x)-1/2|1-1-varepsilon) sigma(x)((n))-frac2$ 以下の任意の$に対して、$f$ は回帰関数 $xmapstomathbbE[yx]$ であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previously, statistical textbook wisdom has held that interpolating noisy
data will generalize poorly, but recent work has shown that data interpolation
schemes can generalize well. This could explain why overparameterized deep nets
do not necessarily overfit. Optimal data interpolation schemes have been
exhibited that achieve theoretical lower bounds for excess risk in any
dimension for large data (Statistically Consistent Interpolation). These are
non-parametric Nadaraya-Watson estimators with singular kernels. The recently
proposed weighted interpolating nearest neighbors method (wiNN) is in this
class, as is the previously studied Hilbert kernel interpolation scheme, in
which the estimator has the form $\hat{f}(x)=\sum_i y_i w_i(x)$, where $w_i(x)=
\|x-x_i\|^{-d}/\sum_j \|x-x_j\|^{-d}$. This estimator is unique in being
completely parameter-free. While statistical consistency was previously proven,
convergence rates were not established. Here, we comprehensively study the
finite sample properties of Hilbert kernel regression. We prove that the excess
risk is asymptotically equivalent pointwise to $\sigma^2(x)/\ln(n)$ where
$\sigma^2(x)$ is the noise variance. We show that the excess risk of the plugin
classifier is less than $2|f(x)-1/2|^{1-\alpha}\,(1+\varepsilon)^\alpha
\sigma^\alpha(x)(\ln(n))^{-\frac{\alpha}{2}}$, for any $0<\alpha<1$, where $f$
is the regression function $x\mapsto\mathbb{E}[y|x]$. We derive asymptotic
equivalents of the moments of the weight functions $w_i(x)$ for large $n$, for
instance for $\beta>1$, $\mathbb{E}[w_i^{\beta}(x)]\sim_{n\rightarrow
\infty}((\beta-1)n\ln(n))^{-1}$. We derive an asymptotic equivalent for the
Lagrange function and exhibit the nontrivial extrapolation properties of this
estimator. We present heuristic arguments for a universal $w^{-2}$ power-law
behavior of the probability density of the weights in the large $n$ limit.
- Abstract（参考訳）: これまで、統計教科書の知恵では、補間データの一般化は不十分であると考えられてきたが、最近の研究では、データの補間スキームがうまく一般化できることが示されている。
これは、過剰パラメータのディープネットが必ずしも過剰に適合しない理由を説明できる。
大規模データの任意の次元における過剰リスクの理論的下限を達成するための最適データ補間スキームが示されている(統計的に一貫性補間)。
これらは特異核を持つ非パラメトリックなナダラヤ・ワトソン推定器である。
最近提案された重み付き補間近接補間法(wiNN)は、前述のヒルベルト核補間スキームと同様に、推定器が $\hat{f}(x)=\sum_i y_i w_i(x)$, ここで$w_i(x)= \|x-x_i\|^{-d}/\sum_j \|x-x_j\|^{-d}$ である。
この推定器は完全にパラメータフリーであることに特有である。
統計的一貫性は以前は証明されていたが、収束速度は確立されなかった。
ここでは、ヒルベルト核回帰の有限サンプル特性を包括的に研究する。
我々は余剰リスクが漸近的に$\sigma^2(x)/\ln(n)$に等しいことを証明している。
プラグイン分類器の過剰なリスクは、2|f(x)-1/2|^{1-\alpha}\,(1+\varepsilon)^\alpha \sigma^\alpha(x)(\ln(n))^{-\frac{\alpha}{2}}$、任意の$0<\alpha<1$、ただし$f$ は回帰関数 $x\mapsto\mathbb{e}[y|x]$ である。
例えば $\beta>1$, $\mathbb{E}[w_i^{\beta}(x)]\sim_{n\rightarrow \infty}((\beta-1)n\ln(n))^{-1}$ である。
我々はラグランジュ函数に対する漸近同値を求め、この推定子の非自明な外挿特性を示す。
我々は、大きな$n$極限における重みの確率密度の普遍的w^{-2}$パワーロー挙動に関するヒューリスティックな議論を示す。
関連論文リスト
- pyhgf: A neural network library for predictive coding [0.2150989251218736]
texttpyhgfは、予測コーディングのための動的ネットワークの作成、操作、サンプリングのためのPythonパッケージである。
ネットワークコンポーネントを透過的でモジュール的で、拡張可能な変数としてメッセージパッシングステップに囲み込むことで、他のフレームワークよりも改善します。
コア変数の透明性は、自己組織化の原則を活用する推論プロセスにも変換できる。
論文 参考訳（メタデータ） (2024-10-11T19:21:38Z) - Automatic AI Model Selection for Wireless Systems: Online Learning via Digital Twinning [50.332027356848094]
AIベースのアプリケーションは、スケジューリングや電力制御などの機能を実行するために、インテリジェントコントローラにデプロイされる。
コンテキストとAIモデルのパラメータのマッピングは、ゼロショット方式で理想的に行われる。
本稿では,AMSマッピングのオンライン最適化のための一般的な手法を紹介する。
論文 参考訳（メタデータ） (2024-06-22T11:17:50Z) - GreenLightningAI: An Efficient AI System with Decoupled Structural and
Quantitative Knowledge [0.0]
強力な、人気のあるディープニューラルネットワークのトレーニングには、非常に高い経済的および環境的コストが伴う。
この作業は、GreenLightningAIを提案することによって、根本的に異なるアプローチを取る。
新しいAIシステムは、所定のサンプルに対してシステムサブセットを選択するために必要な情報を格納する。
我々は,AIシステムを新しいサンプルで再学習する際に,構造情報を無修正で保持できることを実験的に示す。
論文 参考訳（メタデータ） (2023-12-15T17:34:11Z) - A Free Lunch with Influence Functions? Improving Neural Network
Estimates with Concepts from Semiparametric Statistics [41.99023989695363]
ニューラルネットワークや機械学習アルゴリズムの改善に使用される半パラメトリック理論の可能性を探る。
本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
論文 参考訳（メタデータ） (2022-02-18T09:35:51Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳（メタデータ） (2022-01-21T02:16:52Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Modeling Item Response Theory with Stochastic Variational Inference [8.369065078321215]
項目応答理論(IRT)のための変分ベイズ推論アルゴリズムを提案する。
この手法を5つの大規模項目応答データセットに適用すると、欠落したデータを出力する際の高いログ可能性と高い精度が得られる。
アルゴリズムの実装はオープンソースであり、簡単に利用できる。
論文 参考訳（メタデータ） (2021-08-26T05:00:27Z) - Understanding Dynamics of Nonlinear Representation Learning and Its
Application [12.697842097171119]
暗黙的非線形表現学習のダイナミクスについて検討する。
我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。
我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
論文 参考訳（メタデータ） (2021-06-28T16:31:30Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。