論文の概要: Neural LoFi with Backward Coupling: A Spectral Theory of Cross-Layer Feature Learning

• arxiv url: http://arxiv.org/abs/2610.32849v1
• Date: Fri, 23 Oct 2026 16:21:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.60484
• Title: Neural LoFi with Backward Coupling: A Spectral Theory of Cross-Layer Feature Learning
• Title（参考訳）: 後方結合型ニューラルLoFi:クロス層特徴学習のスペクトル理論
• Abstract要約: 我々は最近,特徴学習のための層単位でのスペクトルサロゲートであるNeural Low-Degree Filtering(Neural LoFi)を拡張した。 ニューロンの入ってくる重みとそれに対応する第2層カラムの局所的な結合を導出する。 バイナリCIFAR-10上での完全接続および畳み込みネットワークによる実験は、一致した幅で、前方のNeural LoFiよりも精度が向上した。
• 参考スコア（独自算出の注目度）: 17.504505485835903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: During joint training, backpropagation allows later layers to reshape earlier representations, a feedback mechanism absent from purely layer-wise learning. We extend Neural Low-Degree Filtering (Neural LoFi), a recently proposed layer-wise spectral surrogate for feature learning, to capture this interaction. Starting from the exact backpropagation gradients, we derive a local coupling between a neuron's incoming weights and its corresponding next-layer column. In a controlled small-initialization regime with smooth activations and fixed surroundings, these dynamics amplify singular modes of a cross-layer correlation operator. Each growing mode pairs an earlier feature with an upper-layer response through shared neuron coefficients. This motivates a backward-coupling algorithm in which upper-layer sensitivities generate sample-dependent effective labels for earlier spectral steps, while corrected features refine upward transmission. A function-space variational principle characterizes the selected feature-response pairs by maximizing the label correlation of their product under kernel-norm constraints. For three-layer networks, we derive self-consistent continuous-time dynamics for the filtered hidden-layer features, the activation kernels, and the network output under the proposed backward coupling. In a hierarchical multi-index model, we establish a feature-recovery separation: backward coupling recovers lower-layer directions invisible to the original forward label-weighted statistic. The linear specialization recovers residual-dependent singular-mode dynamics, while paired modes provide a dynamical mechanism for linked low-rank covariance components consistent with the rainbow-network picture. Experiments with fully connected and convolutional networks on binary CIFAR-10 show improved accuracy over forward Neural LoFi at matched widths.
• Abstract（参考訳）: 共同トレーニング中、バックプロパゲーションにより、後続のレイヤは、純粋にレイヤ単位の学習を欠くフィードバックメカニズムである、以前の表現を再構築することができる。 我々は、最近提案された特徴学習のための層単位でのスペクトルサロゲートであるNeural Low-Degree Filtering (Neural LoFi)を拡張して、この相互作用を捉える。 正確なバックプロパゲーション勾配から始めると、ニューロンの入ってくる重みと対応する次層カラムとの局所的な結合を導出する。 滑らかな活性化と固定された周囲を持つ制御された小さな初期化系では、これらのダイナミクスは層間相関作用素の特異モードを増幅する。 各成長モードは、共有ニューロン係数を介して上層反応を持つ以前の特徴をペアリングする。 これは、上位層の感度が初期のスペクトルステップに対してサンプル依存の有効ラベルを生成すると共に、補正された特徴が上向きの伝送を洗練する後方結合アルゴリズムを動機付けている。 関数空間の変動原理は、カーネルノルム制約の下で製品のラベル相関を最大化することにより、選択された特徴応答対を特徴付ける。 3層ネットワークでは,フィルタされた隠蔽層の特徴,アクティベーションカーネル,提案した後方結合の下でのネットワーク出力に対して,自己一貫性のある連続時間ダイナミクスを導出する。 階層型マルチインデックスモデルでは,後方結合により下位層方向が元の前方ラベル重み統計に見えない状態に回復する特徴回復分離が確立される。 線形特殊化は残留依存特異モードのダイナミクスを回復する一方、ペアモードはレインボーネットワーク図と整合した低ランク共分散成分の動的メカニズムを提供する。 バイナリCIFAR-10上での完全接続および畳み込みネットワークによる実験は、一致した幅で、前方のNeural LoFiよりも精度が向上した。

関連論文リスト

• Progressive Permutation Alignment with Temperature-Controlled Spectral Sharpening [2.595513192756607]
  暗黙的な神経表現では、3D信号はネットワーク重みで直接符号化される。 置換は独立に訓練されるが、機能的に等価なモデルが重量空間において遠方に見えることを引き起こす。 既存のニューロンアライメント法は、早期に離散一致にコミットし、一貫性のない局所オプティマに閉じ込められる。 インプットからアウトプットまでの層間依存関係に従うレイヤワイド戦略であるプログレッシブアライメントを採用しています。
  論文  参考訳（メタデータ） (2026-10-21T08:26:46Z)
• Learnable Spectral Activations [14.648146760739763]
  入射神経表現(INR)は、入力エンコーディングとアクティベーション関数によって誘導されるスペクトル構造によって形成される。 我々は、固定されたニューロンレベルの非線形性を置き換える学習可能なスペクトルアクティベーション(LSA)を導入する。 この因子化は、ニューラル・タンジェント・カーネルの先頭の固有モードにより多くの目標信号エネルギーを集中させる。
  論文  参考訳（メタデータ） (2026-10-05T21:29:04Z)
• Sensory robustness through top-down feedback and neural stochasticity in recurrent vision models [0.9188951403098383]
  我々は、トップダウンフィードバックプロジェクションの有無のイメージ分類について、畳み込みリカレントニューラルネットワーク(ConvRNN)を訓練した。 トップダウンフィードバックを持つConvRNNは、ノイズの摂動や敵の攻撃に対して、顕著な速度精度のトレードオフと堅牢性を示した。
  論文  参考訳（メタデータ） (2025-08-09T22:51:50Z)
• The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity [0.7499722271664144]
  非線形活性化関数がニューラルネットワークの暗黙バイアスの形成にどのように寄与するかを考察する。 局所的動的誘引器は、ニューロンの活性化関数への入力がゼロとなる超平面のクラスターの形成を促進することを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:36:46Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。