論文の概要: Differentiable Kernel Ridge Regression for Deep Learning Pipelines

• arxiv url: http://arxiv.org/abs/2605.02313v1
• Date: Mon, 04 May 2026 08:13:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.184677
• Title: Differentiable Kernel Ridge Regression for Deep Learning Pipelines
• Title（参考訳）: 深層学習パイプラインのカーネルリッジ回帰
• Authors: Jean-Marc Mercier, Gabriele Santin,
• Abstract要約: 我々は、カーネルリッジ回帰(KRR)の微分可能、局所化、遅延変異であるemphSparse Kernels (SKs)を導入する。 SKは3つの異なるパラメータセット(特徴表現、ターゲット値、評価ポイント)を公開し、それぞれを修正あるいは学習することができる。 この結果から,一度スケーラブルで差別化可能なカーネルメソッドが,ディープラーニングと容易に統合できることが示唆された。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks dominate modern machine learning, while alternative function approximators remain comparatively underexplored at scale. In this work, we revisit kernel methods as drop-in components for standard deep learning pipelines. We introduce \emph{Sparse Kernels} (SKs), a differentiable, localized, and lazy variant of kernel ridge regression (KRR) that defers training to inference time and reduces to the solution of small local systems. We integrate SKs into PyTorch as modular layers that preserve end-to-end trainability, and we show that they expose three distinct sets of parameters -- feature representations, target values, and evaluation points -- each of which can be fixed or learned. This decomposition broadens the design space available to practitioners, enabling, in particular, training-free transfer, nonlinear probing, and hybrid kernel-neural models. Across convolutional networks, vision transformers, and reinforcement learning, SK-based modules serve two complementary roles: in some settings, they match the performance of trained neural readouts with substantially less training; in others, they augment existing models and improve their performance when used as additional components. Our results suggest that kernel methods, once made scalable and differentiable, can be readily integrated with deep learning rather than treated as a separate paradigm.
• Abstract（参考訳）: ディープニューラルネットワークは現代の機械学習を支配しているが、代替関数近似器はいまだに大規模な研究が過小評価されている。 本研究では,カーネルメソッドを標準ディープラーニングパイプラインのドロップインコンポーネントとして再検討する。 我々は,カーネルリッジ回帰 (KRR) の微分可能,局所的,遅延的な変形である \emph{Sparse Kernels} (SKs) を導入する。 SKをPyTorchに統合し、エンドツーエンドのトレーニング性を維持するモジュールレイヤとして、機能表現、ターゲット値、評価ポイントの3つの異なるパラメータセットを公開しています。 この分解により、実践者が利用できる設計空間が広くなり、特にトレーニングなし転送、非線形探索、ハイブリッドカーネルニューラルモデルが実現された。 畳み込みネットワーク、ビジョントランスフォーマー、強化学習など、SKベースのモジュールは2つの補完的な役割を担っている。いくつかの設定では、トレーニング済みのニューラルリードアウトのパフォーマンスと、ほぼ少ないトレーニングで一致している。 この結果から,一度拡張性と差別化が可能になったカーネルメソッドは,個別のパラダイムとして扱われるのではなく,深層学習と容易に統合できることが示唆された。

関連論文リスト

• KVNN: Learnable Multi-Kernel Volterra Neural Networks [6.550684951976901]
  カーネル化されたVolterra Neural Network (kVNN) ビデオ行動認識と画像認知の2つの代表的なタスクに関する実験。 大規模な事前トレーニングを行わずに、スクラッチからトレーニングした場合でも、結果は維持される。
  論文  参考訳（メタデータ） (2026-04-16T15:18:48Z)
• Function Spaces Without Kernels: Learning Compact Hilbert Space Representations [17.20282687120807]
  本稿では,関数エンコーダが特徴学習とカーネル手法との原則的接続を提供することを示す。 コンパクトなベースを学習する2つのトレーニングアルゴリズムを開発した。 この研究は、カーネルレベルの保証を持つ神経予測器への道を示唆している。
  論文  参考訳（メタデータ） (2025-09-24T22:55:52Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Manifold meta-learning for reduced-complexity neural system identification [1.0276024900942875]
  低次元多様体を発見するメタラーニングフレームワークを提案する。 この多様体は、関連する力学系のクラスによって生成される入力出力シーケンスのメタデータセットから学習される。 両レベルメタラーニングアプローチとは異なり,本手法では,学習多様体に直接データセットをマッピングする補助的ニューラルネットワークを用いる。
  論文  参考訳（メタデータ） (2025-04-16T06:49:56Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Local Learning with Neuron Groups [15.578925277062657]
  局所学習はモデル並列性に対するアプローチであり、標準のエンドツーエンドの学習設定を取り除く。 本研究では,局所学習をレイヤやモジュールをサブコンポーネントに分割する方法について検討する。
  論文  参考訳（メタデータ） (2023-01-18T16:25:10Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• TorchDyn: A Neural Differential Equations Library [16.43439140464003]
  継続的深層学習に特化したPyTorchライブラリであるTorchDynを紹介する。 通常のプラグアンドプレイ深層学習プリミティブと同じくらいアクセスしやすいように、神経微分方程式を高めるように設計されている。
  論文  参考訳（メタデータ） (2020-09-20T03:45:49Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。