論文の概要: Early Neuron Alignment in Two-layer ReLU Networks with Small Initialization

• arxiv url: http://arxiv.org/abs/2307.12851v2
• Date: Mon, 25 Mar 2024 14:48:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 01:20:23.378725
• Title: Early Neuron Alignment in Two-layer ReLU Networks with Small Initialization
• Title（参考訳）: 小型初期化を伴う2層ReLUネットワークの初期ニューロンアライメント
• Authors: Hancheng Min, Enrique Mallada, René Vidal,
• Abstract要約: 入力ベクトルを適切に分離したトレーニングデータセットについて検討する。 同じラベルを持つ任意の入力データは正に相関し、異なるラベルを持つ任意のペアは負に相関する。 我々の分析は、トレーニングの初期段階において、第1層のニューロンが正のデータまたは負のデータと整合しようとすることを示している。
• 参考スコア（独自算出の注目度）: 34.823369419231305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the problem of training a two-layer ReLU network for binary classification using gradient flow with small initialization. We consider a training dataset with well-separated input vectors: Any pair of input data with the same label are positively correlated, and any pair with different labels are negatively correlated. Our analysis shows that, during the early phase of training, neurons in the first layer try to align with either the positive data or the negative data, depending on its corresponding weight on the second layer. A careful analysis of the neurons' directional dynamics allows us to provide an $\mathcal{O}(\frac{\log n}{\sqrt{\mu}})$ upper bound on the time it takes for all neurons to achieve good alignment with the input data, where $n$ is the number of data points and $\mu$ measures how well the data are separated. After the early alignment phase, the loss converges to zero at a $\mathcal{O}(\frac{1}{t})$ rate, and the weight matrix on the first layer is approximately low-rank. Numerical experiments on the MNIST dataset illustrate our theoretical findings.
• Abstract（参考訳）: 本稿では,2層型ReLUネットワークを2層に分割し,初期化を小さくした勾配流を用いた2層型ReLUネットワークの学習課題について検討する。 同じラベルを持つ任意の入力データには正の相関があり、異なるラベルを持つ任意のペアには負の相関がある。 分析の結果,第1層のニューロンは第2層の重みに応じて,正のデータか負のデータのいずれかと整合しようとすることがわかった。 ニューロンの方向ダイナミクスを慎重に解析することで、入力データとの整合性を達成するのに全ニューロンに要する時間に$$\mathcal{O}(\frac{\log n}{\sqrt{\mu}})$上界を与えることができる。 初期のアライメントフェーズの後、損失は$\mathcal{O}(\frac{1}{t})$レートでゼロに収束し、第1層の重み行列は概して低ランクである。 MNISTデータセットに関する数値実験は、我々の理論的な結果を示している。

関連論文リスト

• Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment [126.34547428473968]
  大規模言語モデル(LLM)は、複雑なタスクやシナリオにおいて、人間の好みに合わせるのに依然として苦労しています。 我々は、最も有用な教師付き信号を用いて、最も関連性の高いニューロンを最適化することに焦点を当てた、textbfALLOという低輝度アライメント手法を提案する。 10個のデータセットに対する実験結果から、ALLOの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-18T13:34:40Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• SGD Finds then Tunes Features in Two-Layer Neural Networks with near-Optimal Sample Complexity: A Case Study in the XOR problem [1.3597551064547502]
  本研究では,2層ニューラルネットワーク上でのミニバッチ降下勾配(SGD)の最適化過程について考察する。 二次 XOR' 関数 $y = -x_ix_j$ でラベル付けされた $d$-dimensional Boolean hypercube から得られるデータから、人口誤差 $o(1)$ と $d :textpolylog(d)$ のサンプルをトレーニングすることが可能であることを証明した。
  論文  参考訳（メタデータ） (2023-09-26T17:57:44Z)
• Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs [5.7166378791349315]
  我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。 また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
  論文  参考訳（メタデータ） (2023-06-10T16:36:22Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A case where a spindly two-layer linear network whips any neural network with a fully connected input layer [24.132345589750592]
  勾配降下によるスパース目標を効率的に学習するために,スパース入力層が必要であることを示す。 驚くべきことに、同じタイプの問題は、単純な2層線形ニューラルネットワークによって大幅に効率良く解決できる。
  論文  参考訳（メタデータ） (2020-10-16T20:49:58Z)
• Neural Random Projection: From the Initial Task To the Input Similarity Problem [0.0]
  ニューラルネットワークを用いた入力データの類似性を評価するために,暗黙データ表現のための新しい手法を提案する。 提案手法は初期タスクを明示的に考慮し,ベクトル表現のサイズを大幅に削減する。 実験の結果,提案手法は入力類似性タスクにおける競合的な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-10-09T13:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。