論文の概要: Iteratively reweighted kernel machines efficiently learn sparse functions

• arxiv url: http://arxiv.org/abs/2505.08277v1
• Date: Tue, 13 May 2025 06:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.455084
• Title: Iteratively reweighted kernel machines efficiently learn sparse functions
• Title（参考訳）: 繰り返し再重み付けされたカーネルマシンはスパース関数を効率的に学習する
• Authors: Libin Zhu, Damek Davis, Dmitriy Drusvyatskiy, Maryam Fazel,
• Abstract要約: 本研究では、これらの2つの現象はニューラルネットワークに固有のものではなく、古典的なカーネル法から引き出すことができると論じる。 すなわち、カーネル予測器の導関数は、サンプルの複雑さの低い影響座標を検出できることを示す。
• 参考スコア（独自算出の注目度）: 20.065506937837423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The impressive practical performance of neural networks is often attributed to their ability to learn low-dimensional data representations and hierarchical structure directly from data. In this work, we argue that these two phenomena are not unique to neural networks, and can be elicited from classical kernel methods. Namely, we show that the derivative of the kernel predictor can detect the influential coordinates with low sample complexity. Moreover, by iteratively using the derivatives to reweight the data and retrain kernel machines, one is able to efficiently learn hierarchical polynomials with finite leap complexity. Numerical experiments illustrate the developed theory.
• Abstract（参考訳）: ニューラルネットワークの目覚ましい実用性能は、しばしば、低次元のデータ表現と階層構造を直接データから学習する能力に起因している。 本研究では、これらの2つの現象はニューラルネットワークに固有のものではなく、古典的なカーネル法から引き出すことができると論じる。 すなわち、カーネル予測器の導関数は、サンプルの複雑さの低い影響座標を検出できることを示す。 さらに,データの再重み付けやカーネルマシンの再訓練にデリバティブを反復的に使用することにより,有限の跳躍複雑性を持つ階層多項式を効率的に学習することができる。 数値実験は、発達した理論を例証する。

関連論文リスト

• Repetita Iuvant: Data Repetition Allows SGD to Learn High-Dimensional Multi-Index Functions [20.036783417617652]
  勾配に基づくアルゴリズムを用いて学習した2層浅層ニューラルネットワークのトレーニング力学について検討する。 理想化シングルパス勾配勾配学習シナリオの簡単な修正により,その計算効率が大幅に向上することを示す。 この結果から,ネットワークが事前処理なしでデータから関連構造を学習できることが示唆された。
  論文  参考訳（メタデータ） (2024-05-24T11:34:31Z)
• Nonlinear functional regression by functional deep neural network with kernel embedding [18.927592350748682]
  本稿では,適応型・離散化不変次元減少法による機能的ディープニューラルネットワークを提案する。 様々な入力関数空間にまたがる非線形滑らかな関数の近似の比例率を導出する。 シミュレーションと実データの両方で数値実験を行い、機能ネットの有効性と利点を実証する。
  論文  参考訳（メタデータ） (2024-01-05T16:43:39Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Analysis of Structured Deep Kernel Networks [0.0]
  本稿では,従来のカーネル手法と同じ理論的枠組みで構築されたニューラルネットワークを想起させる,特別なタイプのカーネルの利用によってモデルが得られることを示す。 特に、導入されたStructured Deep Kernel Networks (SDKNs) は、表現定理に従う最適なアクティベーション関数を持つ非有界ニューラルネットワーク (NN) と見なすことができる。
  論文  参考訳（メタデータ） (2021-05-15T14:10:35Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。