論文の概要: Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks

• arxiv url: http://arxiv.org/abs/2610.03858v1
• Date: Fri, 02 Oct 2026 17:43:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:44:29.541454
• Title: Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks
• Title（参考訳）: 成長する非パラメトリックニューラルネットワークにおける検索中心深層学習
• Abstract要約: 検索中心ディープラーニング(RCDL)パラダイムを原則として開発する。 画像分類と合成学習課題におけるRCDLの有望な性能と学習効果を実証する。
• 参考スコア（独自算出の注目度）: 25.838199164772053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate a general-purpose layer for deep learning that, instead of compressing arbitrary-size training data into fixed-size weight matrices, stores a new pair of key-value representations for every data point during training, and retrieves and recombines these representations through an attention mechanism at inference time - resulting in a growing neural net (NN). While Irie et al. (arXiv:2202.05798) have put forward this perspective from the classic duality expressing any linear layer in a deep NN trained by gradient descent as linear attention (LA) over the training data points, replacing LA by more powerful attention functions, as they suggest, turns out to be non-trivial: we show that naively applying learning rules from the LA case to advanced kernels does not lead to principled optimization. Here we fill this gap and develop functional gradient-based learning rules for kernelized attention layers, based on radial basis function (RBF) and softmax-like kernels - establishing the principled "retrieval-centric deep learning" (RCDL) paradigm. Empirically, we demonstrate the promising performance and learning-efficiency of RCDL on image classification and synthetic teacher-student learning tasks. Moreover, we show that replacing LA in the dual form of NNs by advanced LA variants, namely MesaNet/DeltaNet, yields a formal connection to recently proposed optimizers for conventional fixed-size NNs, offering a novel perspective on deep learning optimization.
• Abstract（参考訳）: 我々は、任意のサイズのトレーニングデータを固定サイズの重み行列に圧縮する代わりに、トレーニング中の各データポイントに対して新しいキー値表現を格納し、推論時に注意機構を通じてこれらの表現を検索し、再結合することにより、ニューラルネットワーク(NN)が増大する、深層学習のための汎用層について検討する。 Irie et al (arXiv:2202.05798) は、勾配降下によって訓練されたディープNNの線形層を、トレーニングデータポイント上の線形注意(LA)として表現する古典的な双対性から、LAをより強力な注意関数に置き換えたことが示唆されている。 ここでは、このギャップを埋め、ラジアルベース関数(RBF)とソフトマックスのようなカーネルに基づいて、カーネル化された注意層に対する機能的勾配に基づく学習ルールを開発する。 画像分類と合成学習課題におけるRCDLの有望な性能と学習効果を実証的に示す。 さらに,従来の固定サイズNNに対して最近提案した最適化器に,高度LA変種であるMesaNet/DeltaNetでLAを置き換えることで,ディープラーニング最適化の新しい視点を提供することを示す。

関連論文リスト

• Generalization in Deep Neural Networks: Minimax Rates for Gradient Methods [42.41448048632761]
  本稿では,勾配法を用いて学習したディープニューラルネットワーク(DNN)の包括的一般化解析を行う。 我々は,DNNの学習力学と,勾配法を用いて学習したスムーズなアクティベーション関数との間に,初めて重要な関係を樹立した。 我々は、勾配降下 (GD) と勾配降下 (SGD) の過剰集団リスクに対する、初めて知られている最小値最適化率を導出する。
  論文  参考訳（メタデータ） (2026-06-04T23:31:52Z)
• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• Learning Distinguishable Representations in Deep Q-Networks for Linear Transfer [0.9558392439655014]
  本稿では,状態の特徴表現間の正の相関を減少させるために,正規化項を導入する新しいQ-ラーニング手法を提案する。 転送学習性能の向上と計算オーバーヘッドの低減に本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-09-29T15:44:35Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。