論文の概要: Kernel Regression in Structured Non-IID Settings: Theory and Implications for Denoising Score Learning

• arxiv url: http://arxiv.org/abs/2510.15363v1
• Date: Fri, 17 Oct 2025 06:52:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.499765
• Title: Kernel Regression in Structured Non-IID Settings: Theory and Implications for Denoising Score Learning
• Title（参考訳）: 構造化非IID設定におけるカーネル回帰:スコア学習の理論と意味
• Authors: Dechen Zhang, Zhenmei Shi, Yi Zhang, Yingyu Liang, Difan Zou,
• Abstract要約: 我々は、信号ノイズ因果構造を持つ非I.d.データに対するKRR一般化の最初の系統的研究を示す。 本研究は,スコア学習のノイズ化,一般化保証の確立,ノイズの多いデータ点のサンプリングのための原則的ガイダンスの提供に応用する。
• 参考スコア（独自算出の注目度）: 39.3200762517639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel ridge regression (KRR) is a foundational tool in machine learning, with recent work emphasizing its connections to neural networks. However, existing theory primarily addresses the i.i.d. setting, while real-world data often exhibits structured dependencies - particularly in applications like denoising score learning where multiple noisy observations derive from shared underlying signals. We present the first systematic study of KRR generalization for non-i.i.d. data with signal-noise causal structure, where observations represent different noisy views of common signals. By developing a novel blockwise decomposition method that enables precise concentration analysis for dependent data, we derive excess risk bounds for KRR that explicitly depend on: (1) the kernel spectrum, (2) causal structure parameters, and (3) sampling mechanisms (including relative sample sizes for signals and noises). We further apply our results to denoising score learning, establishing generalization guarantees and providing principled guidance for sampling noisy data points. This work advances KRR theory while providing practical tools for analyzing dependent data in modern machine learning applications.
• Abstract（参考訳）: カーネルリッジ回帰(KRR)は機械学習の基礎的なツールであり、最近の研究はニューラルネットワークへの接続を強調している。 しかし、既存の理論は主にi.d.セッティングに対処するが、実世界のデータは構造化された依存関係を示すことが多い。 我々は、KRRの一般化に関する最初の体系的研究を、共通の信号の異なるノイズビューを表す信号ノイズ因果構造を持つ非次元データに対して提示する。 依存するデータの正確な濃度分析を可能にする新しいブロックワイズ分解法を開発することにより,(1)核スペクトル,(2)因果構造パラメータ,(3)サンプリング機構(信号と雑音の相対サンプルサイズを含む)などに依存するKRRの過剰なリスク境界を導出する。 さらに,本研究の結果を,雑音の多いデータ点を抽出するための一般化保証の確立や,原則化されたガイダンスの提供に応用する。 この研究は、現代の機械学習アプリケーションで依存データを分析するための実用的なツールを提供しながら、KRR理論を前進させる。

関連論文リスト

• Beyond Universal Approximation Theorems: Algorithmic Uniform Approximation by Neural Networks Trained with Noisy Data [12.815892583089443]
  本稿では,N$ノイズ学習サンプルから一様近似器を構成するアーキテクチャ固有のランダム化学習アルゴリズムを提案する。 学習したニューラルネットワークは、古典的UATで想定される理想化されたノイズレスサンプリングの下で消滅する対数的要因を考慮し、最小限の最大(非ランダム)パラメータを実現する。
  論文  参考訳（メタデータ） (2025-08-31T16:20:27Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Optimal Rates and Saturation for Noiseless Kernel Ridge Regression [4.585021053685196]
  ノイズレスシステムにおけるカーネルリッジ回帰(KRR)の総合的研究について述べる。 KRRは有限標本から関数を学習するための基本的な方法である。 我々は、カーネルメソッドの解析に広く適用可能な、洗練された自由度の概念を導入する。
  論文  参考訳（メタデータ） (2024-02-24T04:57:59Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• Combating Bilateral Edge Noise for Robust Link Prediction [56.43882298843564]
  本稿では,RGIB(Robust Graph Information Bottleneck)という情報理論の原則を提案し,信頼性の高い監視信号を抽出し,表現の崩壊を回避する。 RGIB-SSLとRGIB-REPの2つのインスタンス化は、異なる手法の利点を活用するために検討されている。 6つのデータセットと3つのGNNの様々なノイズシナリオによる実験は、我々のRGIBインスタンスの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-02T12:47:49Z)
• A Structured Dictionary Perspective on Implicit Neural Representations [47.35227614605095]
  我々は、ほとんどのINR族が、初期マッピング周波数の集合の整数調和である構造信号辞書に類似していることを示す。 経験的ニューラル・タンジェント・カーネル(NTK)に関する最近の結果を利用したINRの誘導バイアスについて検討する。 この結果から,新しいINRアーキテクチャの設計とチューニングが可能であるが,より広範な深層学習理論コミュニティにも関心が持てる。
  論文  参考訳（メタデータ） (2021-12-03T14:00:52Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。