論文の概要: Diagonal Over-parameterization in Reproducing Kernel Hilbert Spaces as an Adaptive Feature Model: Generalization and Adaptivity

• arxiv url: http://arxiv.org/abs/2501.08679v1
• Date: Wed, 15 Jan 2025 09:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:53:23.977895
• Title: Diagonal Over-parameterization in Reproducing Kernel Hilbert Spaces as an Adaptive Feature Model: Generalization and Adaptivity
• Title（参考訳）: 適応的特徴モデルとしてのカーネルヒルベルト空間の対角過度パラメータ化:一般化と適応性
• Authors: Yicheng Li, Qian Lin,
• Abstract要約: 対角適応カーネルモデルは、トレーニング中にカーネル固有値と出力係数を同時に学習する。 適応性は、トレーニング中に正しい固有値を学ぶことから生じることを示す。
• 参考スコア（独自算出の注目度）: 11.644182973599788
• License:
• Abstract: This paper introduces a diagonal adaptive kernel model that dynamically learns kernel eigenvalues and output coefficients simultaneously during training. Unlike fixed-kernel methods tied to the neural tangent kernel theory, the diagonal adaptive kernel model adapts to the structure of the truth function, significantly improving generalization over fixed-kernel methods, especially when the initial kernel is misaligned with the target. Moreover, we show that the adaptivity comes from learning the right eigenvalues during training, showing a feature learning behavior. By extending to deeper parameterization, we further show how extra depth enhances adaptability and generalization. This study combines the insights from feature learning and implicit regularization and provides new perspective into the adaptivity and generalization potential of neural networks beyond the kernel regime.
• Abstract（参考訳）: 本稿では、トレーニング中にカーネル固有値と出力係数を同時に動的に学習する対角適応カーネルモデルを提案する。 ニューラル・タンジェント・カーネル理論に結びついた固定カーネル法とは異なり、対角適応カーネルモデルは真理関数の構造に適応し、特に初期カーネルがターゲットと不一致である場合、固定カーネル法よりも大幅に一般化される。 さらに, 適応性は, 訓練中に適切な固有値の学習から生じ, 特徴学習行動を示す。 より深いパラメータ化に拡張することで、余分な深さが適応性と一般化をいかに促進するかをさらに示す。 この研究は、特徴学習と暗黙の正規化からの洞察を組み合わせて、カーネル体制を超えたニューラルネットワークの適応性と一般化ポテンシャルの新しい視点を提供する。

関連論文リスト

• From Kernels to Features: A Multi-Scale Adaptive Theory of Feature Learning [3.7857410821449755]
  この研究は、様々なアプローチをブリッジするマルチスケール適応的特徴学習の理論的枠組みを示す。 ネットワークの確率分布の体系的な拡張により、平均場スケーリングはサドル点近似のみを必要とすることが明らかになった。 注目すべきは、線形ネットワークの平均ネットワーク出力を予測する際に、カーネル適応を有効なカーネル再スケーリングに還元できることである。
  論文  参考訳（メタデータ） (2025-02-05T14:26:50Z)
• Improving Adaptivity via Over-Parameterization in Sequence Models [11.644182973599788]
  同じ固有関数の集合であっても、これらの関数の順序は回帰結果に大きな影響を及ぼすことを示す。 列モデルの領域に過パラメータ化勾配勾配を導入し、固定された固有関数集合の様々な順序の影響を捉える。
  論文  参考訳（メタデータ） (2024-09-02T02:11:52Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• An Adaptive Tangent Feature Perspective of Neural Networks [4.900298402690262]
  特徴量の線形変換を考察し、パラメータと双線型制約による変換を共同で最適化する。 ニューラルネットワークの構造に特化して、機能がどのように変化し、カーネル関数が変化するかについての洞察を得る。 実ニューラルネットワークのカーネルアライメントにおける理論的観察を検証する。
  論文  参考訳（メタデータ） (2023-08-29T17:57:20Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Self-Consistent Dynamical Field Theory of Kernel Evolution in Wide Neural Networks [18.27510863075184]
  勾配流を学習した無限幅ニューラルネットワークにおける特徴学習を,自己整合力学場理論を用いて解析する。 本研究では,各層に隠れた単位活性化と勾配を示す内積カーネルである決定論的動的順序パラメータの集合を,時間点のペアで構築する。
  論文  参考訳（メタデータ） (2022-05-19T16:10:10Z)
• Structure Parameter Optimized Kernel Based Online Prediction with a Generalized Optimization Strategy for Nonstationary Time Series [14.110902170321348]
  再現されたカーネルヒルベルト空間におけるオンライン予測アルゴリズムを支援するスペーシフィケーション技術について研究した。 オンライン予測アルゴリズムは通常、カーネル構造パラメータの選択とカーネル重みベクトルの更新で構成される。 一般化された最適化戦略は、カーネル辞書を複数のカーネル接続モードで逐次構築するように設計されている。
  論文  参考訳（メタデータ） (2021-08-18T14:46:31Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。