論文の概要: Symmetric Kernels with Non-Symmetric Data: A Data-Agnostic Learnability Bound

• arxiv url: http://arxiv.org/abs/2406.02663v1
• Date: Tue, 4 Jun 2024 18:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 23:08:11.271223
• Title: Symmetric Kernels with Non-Symmetric Data: A Data-Agnostic Learnability Bound
• Title（参考訳）: 非対称データを用いた対称カーネル:データに依存しない学習性境界
• Authors: Itay Lavie, Zohar Ringel,
• Abstract要約: カーネルリッジ回帰(KRR)とガウス過程(GP)は統計学と機械学習の基本的なツールである。 これらのツールがターゲット関数を学習する能力は、入力データ上にサンプリングされたカーネルの固有値に直接関係している。 本稿では,この共通ルアーとは対照的に,実データに有界な学習性を示すために,高度に理想化されたデータ尺度に付随する固有値と固有関数を用いることを示す。
• 参考スコア（独自算出の注目度）: 2.3020018305241337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kernel ridge regression (KRR) and Gaussian processes (GPs) are fundamental tools in statistics and machine learning with recent applications to highly over-parameterized deep neural networks. The ability of these tools to learn a target function is directly related to the eigenvalues of their kernel sampled on the input data. Targets having support on higher eigenvalues are more learnable. While kernels are often highly symmetric objects, the data is often not. Thus kernel symmetry seems to have little to no bearing on the above eigenvalues or learnability, making spectral analysis on real-world data challenging. Here, we show that contrary to this common lure, one may use eigenvalues and eigenfunctions associated with highly idealized data-measures to bound learnability on realistic data. As a demonstration, we give a theoretical lower bound on the sample complexity of copying heads for kernels associated with generic transformers acting on natural language.
• Abstract（参考訳）: カーネルリッジ回帰(KRR)とガウス過程(GP)は統計学と機械学習の基本的なツールであり、近年の高度にパラメータ化された深層ニューラルネットワークへの応用がある。 これらのツールがターゲット関数を学習する能力は、入力データ上にサンプリングされたカーネルの固有値に直接関係している。 高い固有値をサポートするターゲットは、より学習しやすい。 カーネルはしばしば高度に対称なオブジェクトであるが、データはしばしばそうではない。 したがって、カーネル対称性は上記の固有値や学習可能性にほとんど依存していないようで、実世界のデータに対するスペクトル分析は困難である。 ここでは、この一般的なルアーとは対照的に、高度に理想化されたデータ尺度に付随する固有値と固有関数を用いて、現実的なデータに学習可能性を持つことを示す。 実演として、自然言語に作用するジェネリックトランスフォーマーに関連するカーネルのヘッドのコピーの複雑さを理論的に低くする。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Generalization in Kernel Regression Under Realistic Assumptions [41.345620270267446]
  共通カーネルや任意の正規化、ノイズ、任意の入力次元、サンプル数に対して厳密な境界を提供する。 以上の結果から,高入力次元における過剰適合,固定次元におけるほぼ誘電過剰適合,正規化回帰に対する明示的な収束率が示唆された。 副産物として、カーネルシステムで訓練されたニューラルネットワークの時間依存境界を得る。
  論文  参考訳（メタデータ） (2023-12-26T10:55:20Z)
• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Manifold Learning with Sparse Regularised Optimal Transport [0.17205106391379024]
  実世界のデータセットはノイズの多い観測とサンプリングを受けており、基礎となる多様体に関する情報を蒸留することが大きな課題である。 本稿では,2次正規化を用いた最適輸送の対称版を利用する多様体学習法を提案する。 得られたカーネルは連続的な極限においてLaplace型演算子と整合性を証明し、ヘテロスケダスティックノイズに対する堅牢性を確立し、これらの結果をシミュレーションで示す。
  論文  参考訳（メタデータ） (2023-07-19T08:05:46Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• On the Similarity between the Laplace and Neural Tangent Kernels [26.371904197642145]
  完全に接続されたネットワークに対するNTKは標準のLaplaceカーネルと密接に関連していることを示す。 この結果から,よく知られたLaplaceカーネルの解析から,ニューラルネットワークに関する多くの知見が得られることが示唆された。
  論文  参考訳（メタデータ） (2020-07-03T09:48:23Z)
• Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks [17.188280334580195]
  トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。 最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。 より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-06-23T17:53:11Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。