論文の概要: Learning Multi-Index Models with Hyper-Kernel Ridge Regression

• arxiv url: http://arxiv.org/abs/2510.02532v1
• Date: Thu, 02 Oct 2025 20:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.159281
• Title: Learning Multi-Index Models with Hyper-Kernel Ridge Regression
• Title（参考訳）: ハイパーカーネルリッジ回帰を用いたマルチインデックスモデルの学習
• Authors: Shuo Huang, Hippolyte Labarrière, Ernesto De Vito, Tomaso Poggio, Lorenzo Rosasco,
• Abstract要約: 学習課題,すなわちマルチインデックスモデル(MIM)の構成構造について検討する。 我々の主な貢献は、HKRRがMIMを適応的に学習できることを示し、次元の呪いを克服することである。 推定器のカーネル特性を利用してアドホック最適化手法を開発する。
• 参考スコア（独自算出の注目度）: 9.500229343360491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks excel in high-dimensional problems, outperforming models such as kernel methods, which suffer from the curse of dimensionality. However, the theoretical foundations of this success remain poorly understood. We follow the idea that the compositional structure of the learning task is the key factor determining when deep networks outperform other approaches. Taking a step towards formalizing this idea, we consider a simple compositional model, namely the multi-index model (MIM). In this context, we introduce and study hyper-kernel ridge regression (HKRR), an approach blending neural networks and kernel methods. Our main contribution is a sample complexity result demonstrating that HKRR can adaptively learn MIM, overcoming the curse of dimensionality. Further, we exploit the kernel nature of the estimator to develop ad hoc optimization approaches. Indeed, we contrast alternating minimization and alternating gradient methods both theoretically and numerically. These numerical results complement and reinforce our theoretical findings.
• Abstract（参考訳）: ディープニューラルネットワークは、次元性の呪いに苦しむカーネルメソッドのようなモデルよりも優れた高次元問題で優れている。 しかし、この成功の理論的基礎はいまだに理解されていない。 我々は、学習課題の構成構造が、ディープネットワークが他のアプローチより優れているかどうかを決定する重要な要因であるという考えに従う。 このアイデアを形式化するための一歩として、単純な構成モデル、すなわち、マルチインデックスモデル(MIM)を考える。 本稿では,ニューラルネットワークとカーネル手法を組み合わせたアプローチであるハイパーカーネルリッジ回帰(HKRR)を紹介し,研究する。 我々の主な貢献は、HKRRがMIMを適応的に学習できることを示し、次元の呪いを克服することである。 さらに、推定器のカーネル特性を利用してアドホック最適化手法を開発する。 実際、理論的にも数値的にも、最小化の交互化と勾配の交互化は対照的である。 これらの数値結果は,我々の理論的知見を補完し,補強するものである。

関連論文リスト

• A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
  本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。 ニューラルネットワークの過剰なリスクに関する調査結果をレビューする。 ニューラルネットワークが、目に見えないデータでうまく一般化できるソリューションを見つける方法に答えようとする論文」をレビューする。
  論文  参考訳（メタデータ） (2024-01-14T02:30:19Z)
• Efficient Compression of Overparameterized Deep Models through Low-Dimensional Learning Dynamics [10.673414267895355]
  本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。 本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
  論文  参考訳（メタデータ） (2023-11-08T23:57:03Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• A Deep Dive into the Connections Between the Renormalization Group and Deep Learning in the Ising Model [0.0]
  再正規化群(Renormalization group、RG)は、統計物理学と量子場理論において必須の手法である。 本研究では, 1D と 2D Ising モデルに対する広範な再正規化手法を開発し, 比較のためのベースラインを提供する。 2次元イジングモデルでは、Wolffアルゴリズムを用いてIsingモデルサンプルを生成し、準決定論的手法を用いてグループフローを実行した。
  論文  参考訳（メタデータ） (2023-08-21T22:50:54Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。