論文の概要: A "feature ODE" describing the learning behavior of shallow MLPs on simple functions

• arxiv url: http://arxiv.org/abs/2610.25652v1
• Date: Mon, 19 Oct 2026 01:52:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 12:43:03.744896
• Title: A "feature ODE" describing the learning behavior of shallow MLPs on simple functions
• Title（参考訳）: 簡易関数上での浅層MLPの学習行動を記述する「機能ODE」
• Abstract要約: 異方性ガウスデータに基づく2層多層パーセプトロン(MLP)の勾配流トレーニングダイナミクスについて検討した。 単純なターゲット関数を学習するために訓練された関数は、実際にはこの機能ODEの損失軌跡にほぼ従っている。 この合意は、単純化の規模と、それが厳密な近似の連鎖から来ないという事実から、驚きである。
• 参考スコア（独自算出の注目度）: 0.02398969082893807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the gradient flow training dynamics of two-layer multi-layer perceptrons (MLPs) on anisotropic Gaussian data. Even in this simple setting, solving the dynamics in full is notoriously difficult, so we try something different. We propose a "feature ODE" that might be intuitively expected to describe the learning dynamics of a shallow MLP. We find that MLPs trained to learn simple target functions (low-order Hermite polynomials and staircase functions) actually roughly follow the loss trajectories from this feature ODE. This agreement is a surprise because of the size of the simplification and the fact that it does not come from a rigorous chain of approximations. We discuss this surprise and speculate on its reasons and uses.
• Abstract（参考訳）: 異方性ガウスデータに基づく2層多層パーセプトロン(MLP)の勾配流トレーニングダイナミクスについて検討した。 この単純な設定であっても、ダイナミクスをフルに解くことは、非常に難しいことで知られています。 浅層MLPの学習力学を直感的に記述できる「機能ODE」を提案する。 単純な対象関数(低階エルミート多項式と階段関数)を学習するために訓練されたMLPは、実際にはこの特徴ODEの損失軌跡に概ね従っている。 この合意は、単純化の規模と、それが厳密な近似の連鎖から来ていないという事実から、驚きである。 我々はこの驚きを議論し、その理由と利用について推測する。

関連論文リスト

• Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking [44.614763110719274]
  我々は、グルーキング現象、すなわち遅延一般化について研究する。 本稿では,2層非線形ネットワークのグルーキング動作の3つの重要な段階を捉える新しいフレームワークを提案する。 私たちの研究は、体重減少、学習率、グルーキングにおけるサンプルサイズといったハイパースの役割に光を当てています。
  論文  参考訳（メタデータ） (2025-09-25T20:08:09Z)
• Aggregation-aware MLP: An Unsupervised Approach for Graph Message-passing [10.93155007218297]
  AMLP"は、アグリゲーション関数を直接作成することから適応アグリゲーションへとパラダイムをシフトする、教師なしのフレームワークである。 提案手法は2つの重要なステップから構成される: まず、高次グルーピング効果を促進するグラフ再構成を利用する。
  論文  参考訳（メタデータ） (2025-07-27T04:52:55Z)
• Learning without training: The implicit dynamics of in-context learning [5.714728133687619]
  LLMは、これらのパターンがプロンプトの例の形で提示されるとき、追加の重み付けをせずに新しいパターンを学ぶことができる。 重ね合わせによる自己保持層のコンテキストは、変換ブロックがコンテキストに応じてレイヤの重みを暗黙的に変更できることを示す。
  論文  参考訳（メタデータ） (2025-07-21T18:44:35Z)
• Modular addition without black-boxes: Compressing explanations of MLPs that compute numerical integration [1.7679702431368263]
  非線形特徴写像を厳密に圧縮する最初のケーススタディを示す。 我々は、回路のパラメータ数において、ReLUの動作に非空き境界を線形に設定する。
  論文  参考訳（メタデータ） (2024-12-04T23:29:07Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Symmetric Single Index Learning [46.7352578439663]
  1つの一般的なモデルはシングルインデックスモデルであり、ラベルは未知のリンク関数を持つ未知の線形射影によって生成される。 我々は、対称ニューラルネットワークの設定において、単一インデックス学習を検討する。
  論文  参考訳（メタデータ） (2023-10-03T14:59:00Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs [53.710405006523274]
  この研究は、表現学習の問題に焦点を当てている。 基礎となる(未知の)力学が低階遷移行列に対応するという仮定の下で、表現学習問題と特定の非線形行列分解問題との関連性を示す。 低階遷移モデルにおけるRLの探索と表現学習を行うFLAMBEを開発した。
  論文  参考訳（メタデータ） (2020-06-18T19:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。