論文の概要: Neural networks learn to magnify areas near decision boundaries

• arxiv url: http://arxiv.org/abs/2301.11375v3
• Date: Sat, 14 Oct 2023 22:52:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 06:19:03.218322
• Title: Neural networks learn to magnify areas near decision boundaries
• Title（参考訳）: ニューラルネットワークは意思決定境界付近の領域を拡大する
• Authors: Jacob A. Zavatone-Veth and Sheng Yang and Julian A. Rubinfien and Cengiz Pehlevan
• Abstract要約: 本研究では,非拘束型ニューラルネットワーク特徴写像による幾何形状の学習方法について検討する。 まず、無限の幅でランダムパラメータを持つニューラルネットワークが入力空間上で高度に対称なメトリクスを誘導することを示す。 分類タスクを実行するために訓練されたネットワークは、決定境界に沿った地域を拡大するために学習する。
• 参考スコア（独自算出の注目度）: 32.84188052937496
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In machine learning, there is a long history of trying to build neural networks that can learn from fewer example data by baking in strong geometric priors. However, it is not always clear a priori what geometric constraints are appropriate for a given task. Here, we consider the possibility that one can uncover useful geometric inductive biases by studying how training molds the Riemannian geometry induced by unconstrained neural network feature maps. We first show that at infinite width, neural networks with random parameters induce highly symmetric metrics on input space. This symmetry is broken by feature learning: networks trained to perform classification tasks learn to magnify local areas along decision boundaries. This holds in deep networks trained on high-dimensional image classification tasks, and even in self-supervised representation learning. These results begins to elucidate how training shapes the geometry induced by unconstrained neural network feature maps, laying the groundwork for an understanding of this richly nonlinear form of feature learning.
• Abstract（参考訳）: 機械学習では、強力な幾何学的前提で焼くことで、より少ないサンプルデータから学習できるニューラルネットワークを構築しようとする長い歴史がある。 しかし、与えられたタスクにどのような幾何学的制約が適しているかは、必ずしも明確ではない。 ここでは、制約のないニューラルネットワーク特徴写像によって誘導されるリーマン幾何学の型をいかに訓練するかを研究することによって、有用な幾何学的帰納バイアスを発見できる可能性を検討する。 まず,無限幅において,ランダムパラメータを持つニューラルネットワークが入力空間に高度に対称なメトリクスを誘導することを示す。 分類タスクを実行するために訓練されたネットワークは、決定境界に沿った地域を拡大するために学習する。 これは、高次元画像分類タスクで訓練されたディープネットワークや、自己教師付き表現学習にも当てはまる。 これらの結果は、トレーニングが、制約のないニューラルネットワークの特徴マップによって引き起こされる幾何学をいかに形作るかを解明し始め、このリッチで非線形な特徴学習の理解の基礎となる。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Task structure and nonlinearity jointly determine learned representational geometry [0.0]
  本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。 我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
  論文  参考訳（メタデータ） (2024-01-24T16:14:38Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。