論文の概要: Second-Order Path Kernel Interpolation Formulas in Machine Learning

• arxiv url: http://arxiv.org/abs/2606.07495v1
• Date: Fri, 05 Jun 2026 17:49:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.878319
• Title: Second-Order Path Kernel Interpolation Formulas in Machine Learning
• Title（参考訳）: 機械学習における2次経路カーネル補間式
• Authors: Jin Guo, Roy Y. He, Jean-Michel Morel,
• Abstract要約: ペドロ・ドミンゴス(Pedro Domingos)は、勾配降下によって学習されたすべてのモデルに有効な積分公式を提案した。 本稿では,これらの公式の2次形式を開発する。 また、予測された2階表現の周囲の変動スケールを同定し、終端予測のための集中推定値を確立する。
• 参考スコア（独自算出の注目度）: 8.154667543705687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding how training data shape neural network predictions is a central problem in modern learning theory. In 2020, Pedro Domingos proposed an interpolation formula valid for every model learned by deterministic gradient descent. It expresses the model's prediction as an integral, along the optimization path, of a data-dependent kernel that aligns the model's gradients at the test and training data. Such a first-order characterization remains valid for models trained with batch-based stochastic optimization. In this paper, we develop second-order forms of these interpolation formulas. We show that the leading path-kernel interpolation is supplemented by a curvature-weighted interpolation term. For stochastic gradient descent, an additional sampling-induced component appears, coupling the curvature of the prediction with the covariance of mini-batch gradient noise. We also extend the representation to stochastic gradient descent with momentum, where the interpolation structure is preserved but with the weights modified by a memory-related factor. Moreover, we establish a concentration estimate for the terminal prediction, identifying the fluctuation scale around the expected second-order representation. Together, these results provide a refinement of the path-kernel interpretation of neural network prediction.
• Abstract（参考訳）: トレーニングデータがどのようにニューラルネットワーク予測を形成するかを理解することは、現代の学習理論の中心的な問題である。 2020年、ペドロ・ドミンゴス (Pedro Domingos) は、決定論的勾配勾配によって学習されたすべてのモデルに有効な補間公式を提案した。 これは、テストおよびトレーニングデータにおけるモデルの勾配を整列するデータ依存カーネルの、最適化パスに沿って、モデルの予測を積分として表現する。 このような一階述語的特徴付けは、バッチベースの確率最適化で訓練されたモデルに対して依然として有効である。 本稿では,これらの補間公式の2次形式を開発する。 本研究は,経路カーネル補間を曲率重み付き補間項で補足することを示した。 確率勾配下降には、さらにサンプリング誘起成分が出現し、予測の曲率とミニバッチ勾配雑音の共分散を結合する。 我々はまた、補間構造は保存されるが、メモリ関連因子によって重みが変更されるような運動量による確率勾配降下への表現も拡張する。 さらに、予測された2階表現の周囲の変動スケールを同定し、端末予測のための集中推定値を確立する。 これらの結果は、ニューラルネットワーク予測のパスカーネル解釈の洗練をもたらす。

関連論文リスト

• On Interpolation Formulas Describing Neural Network Generalization [8.154667543705687]
  連続時間拡散により決定論的バージョンを拡張する勾配カーネルを導入する。 トレーニングサンプルは、損失依存の重み付けと軌道に沿った勾配アライメントを通じて寄与することを明らかにする。 次に、勾配カーネルによって誘導される積分作用素の零空間に一般化誤差をリンクする。
  論文  参考訳（メタデータ） (2026-03-14T10:03:29Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Error-Correcting Neural Networks for Two-Dimensional Curvature Computation in the Level-Set Method [0.0]
  本稿では,2次元曲率をレベルセット法で近似するための誤差ニューラルモデルに基づく手法を提案する。 我々の主な貢献は、需要に応じて機械学習操作を可能にする数値スキームに依存する、再設計されたハイブリッド・ソルバである。
  論文  参考訳（メタデータ） (2022-01-22T05:14:40Z)
• The Bayesian Method of Tensor Networks [1.7894377200944511]
  ネットワークのベイズ的枠組みを2つの観点から検討する。 本研究では,2次元合成データセットにおけるモデルパラメータと決定境界を可視化することにより,ネットワークのベイズ特性について検討する。
  論文  参考訳（メタデータ） (2021-01-01T14:59:15Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。