論文の概要: Spectrally Transformed Kernel Regression

• arxiv url: http://arxiv.org/abs/2402.00645v1
• Date: Thu, 1 Feb 2024 15:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 15:01:37.261270
• Title: Spectrally Transformed Kernel Regression
• Title（参考訳）: スペクトル変換されたカーネル回帰
• Authors: Runtian Zhai, Rattana Pukdee, Roger Jin, Maria-Florina Balcan, Pradeep Ravikumar
• Abstract要約: この研究はスペクトル変換されたカーネル回帰(STKR)という古典的な考え方を再考する。 我々はSTKRが「ターゲットの滑らかさ」の普遍型を特徴付けることによって、原則的で一般的なアプローチであることを示している。 我々は、既知のカーネル変換を持つSTKRと、その変換が未知のPCAを持つSTKRの2つのシナリオに対する統計的保証を導出する。
• 参考スコア（独自算出の注目度）: 44.77783584303742
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlabeled data is a key component of modern machine learning. In general, the role of unlabeled data is to impose a form of smoothness, usually from the similarity information encoded in a base kernel, such as the $\epsilon$-neighbor kernel or the adjacency matrix of a graph. This work revisits the classical idea of spectrally transformed kernel regression (STKR), and provides a new class of general and scalable STKR estimators able to leverage unlabeled data. Intuitively, via spectral transformation, STKR exploits the data distribution for which unlabeled data can provide additional information. First, we show that STKR is a principled and general approach, by characterizing a universal type of "target smoothness", and proving that any sufficiently smooth function can be learned by STKR. Second, we provide scalable STKR implementations for the inductive setting and a general transformation function, while prior work is mostly limited to the transductive setting. Third, we derive statistical guarantees for two scenarios: STKR with a known polynomial transformation, and STKR with kernel PCA when the transformation is unknown. Overall, we believe that this work helps deepen our understanding of how to work with unlabeled data, and its generality makes it easier to inspire new methods.
• Abstract（参考訳）: ラベルなしデータは、現代の機械学習の重要なコンポーネントである。 一般に、ラベルのないデータの役割は、通常、$\epsilon$-neighborカーネルやグラフの隣接行列のようなベースカーネルで符号化された類似性情報から、滑らかさの形式を課すことである。 この研究は、スペクトル変換型カーネル回帰(stkr)の古典的な考え方を再検討し、ラベルのないデータを活用することができる汎用的でスケーラブルなstkr推定器の新たなクラスを提供する。 直感的には、スペクトル変換によって、stkrはラベルのないデータが追加情報を提供できるデータ分布を利用する。 まず、STKRは「ターゲットの滑らかさ」の普遍型を特徴づけ、十分滑らかな関数をSTKRで学べることによって、原則的で一般的なアプローチであることが示される。 第2に,インダクティブ設定と一般変換関数のためのスケーラブルなstkr実装を提供する一方で,先行作業はトランスダクティブ設定に限られる。 第三に、既知の多項式変換を持つSTKRと、変換が未知のカーネルPCAを持つSTKRの2つのシナリオに対する統計的保証を導出する。 全体として、この研究はラベルのないデータを扱う方法の理解を深め、その一般化によって新しいメソッドのインスピレーションが容易になると考えている。

関連論文リスト

• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Symmetric Kernels with Non-Symmetric Data: A Data-Agnostic Learnability Bound [2.3020018305241337]
  カーネルリッジ回帰(KRR)とガウス過程(GP)は統計学と機械学習の基本的なツールである。 これらのツールがターゲット関数を学習する能力は、入力データ上にサンプリングされたカーネルの固有値に直接関係している。 本稿では,この共通ルアーとは対照的に,実データに有界な学習性を示すために,高度に理想化されたデータ尺度に付随する固有値と固有関数を用いることを示す。
  論文  参考訳（メタデータ） (2024-06-04T18:00:00Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• QDC: Quantum Diffusion Convolution Kernels on Graphs [0.0]
  グラフ畳み込みニューラルネットワーク (GCNs) は、関心のある予測タスクを与えられた局所的にメッセージを集約することで機能する。 本稿では,量子粒子のグラフ上での伝播に対する一般化拡散パラダイムに基づくトレーディングにより,頂点の占有相関に従ってグラフを効果的に再配線する新しい畳み込みカーネルを提案する。
  論文  参考訳（メタデータ） (2023-07-20T21:10:54Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Invertible Kernel PCA with Random Fourier Features [0.22940141855172028]
  カーネル主成分分析(kPCA)は、非線形変換後の低次元データ表現を構築するために広く研究されている手法である。 圧縮工程から自然に復元を行う方法を提案する。 ikPCA は kPCA と同様の動作を示し,タスクの復調を指導的に行うことで,強力な代替手段であることを示す。
  論文  参考訳（メタデータ） (2023-03-09T05:42:10Z)
• Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
  半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。 本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。 CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
  論文  参考訳（メタデータ） (2022-06-13T02:16:26Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• Provably End-to-end Label-Noise Learning without Anchor Points [118.97592870124937]
  本稿では,アンカーポイントを使わずにラベルノイズ学習を実現するためのエンドツーエンドフレームワークを提案する。 提案フレームワークでは,クリーンなクラス後確率が十分に分散している場合,遷移行列を同定できる。
  論文  参考訳（メタデータ） (2021-02-04T03:59:37Z)
• Sparse Spectrum Warped Input Measures for Nonstationary Kernel Learning [29.221457769884648]
  本研究では,非定常カーネルを学習するための明示的,入力に依存した,計測値のワーピングの一般的な形式を提案する。 提案した学習アルゴリズムは、標準定常カーネルの滑らかさを制御する条件付きガウス測度として入力をワープする。 我々は,小・大規模データ体制の学習問題において,ワーピング関数のパラメータ数に顕著な効率性を示す。
  論文  参考訳（メタデータ） (2020-10-09T01:10:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。