論文の概要: Statistical Mechanics of Neural Processing of Object Manifolds

• arxiv url: http://arxiv.org/abs/2106.00790v1
• Date: Tue, 1 Jun 2021 20:49:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:22:49.186254
• Title: Statistical Mechanics of Neural Processing of Object Manifolds
• Title（参考訳）: 物体マニフォールドのニューラルプロセッシングの統計力学
• Authors: SueYeon Chung
• Abstract要約: この論文は、物体の神経処理の計算理論の基礎を築いた。 多様体のキャパシティは,有効半径, R_M, 有効次元, D_Mと決定される。
• 参考スコア（独自算出の注目度）: 3.4809730725241605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Invariant object recognition is one of the most fundamental cognitive tasks performed by the brain. In the neural state space, different objects with stimulus variabilities are represented as different manifolds. In this geometrical perspective, object recognition becomes the problem of linearly separating different object manifolds. In feedforward visual hierarchy, it has been suggested that the object manifold representations are reformatted across the layers, to become more linearly separable. Thus, a complete theory of perception requires characterizing the ability of linear readout networks to classify object manifolds from variable neural responses. A theory of the perceptron of isolated points was pioneered by E. Gardner who formulated it as a statistical mechanics problem and analyzed it using replica theory. In this thesis, we generalize Gardner's analysis and establish a theory of linear classification of manifolds synthesizing statistical and geometric properties of high dimensional signals. [..] Next, we generalize our theory further to linear classification of general perceptual manifolds, such as point clouds. We identify that the capacity of a manifold is determined that effective radius, R_M, and effective dimension, D_M. Finally, we show extensions relevant for applications to real data, incorporating correlated manifolds, heterogenous manifold geometries, sparse labels and nonlinear classifications. Then, we demonstrate how object-based manifolds transform in standard deep networks. This thesis lays the groundwork for a computational theory of neuronal processing of objects, providing quantitative measures for linear separability of object manifolds. We hope this theory will provide new insights into the computational principles underlying processing of sensory representations in biological and artificial neural networks.
• Abstract（参考訳）: 不変物体認識は、脳が行う最も基本的な認知タスクの1つである。 神経状態空間では、刺激変動を持つ異なる物体は異なる多様体として表現される。 この幾何学的な観点では、オブジェクト認識は異なるオブジェクト多様体を線形に分離する問題となる。 フィードフォワードの視覚階層では、オブジェクト多様体の表現は層全体に再フォーマットされ、より線形に分離可能であることが示唆されている。 したがって、知覚の完全な理論は、可変神経応答から対象多様体を分類する線形読み出しネットワークの能力を特徴付ける必要がある。 孤立点の知覚論は、E. Gardnerがこれを統計力学問題として定式化し、レプリカ理論を用いて解析した。 本稿では、ガードナーの解析を一般化し、高次元信号の統計的および幾何学的性質を合成する多様体の線形分類の理論を確立する。 次に、我々の理論をさらに一般化して、点雲のような一般的な知覚多様体の線形分類を行う。 多様体のキャパシティは,有効半径, R_M, 有効次元, D_Mと決定される。 最後に、相関多様体、異種多様体ジオメトリ、スパースラベル、非線形分類を含む実データへの応用に関する拡張を示す。 次に、オブジェクトベース多様体が標準深層ネットワークでどのように変換されるかを示す。 この論文は、対象の神経処理の計算理論の基礎を定め、対象多様体の線形分離性に関する定量的測度を提供する。 この理論が、生体および人工ニューラルネットワークにおける感覚表現の処理の基礎となる計算原理に新たな洞察を与えることを期待している。

関連論文リスト

• A Theoretical Study of Neural Network Expressive Power via Manifold Topology [9.054396245059555]
  実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。 本研究では,潜在データ多様体のネットワーク表現力について検討する。 本稿では,ReLUニューラルネットワークのサイズ上限について述べる。
  論文  参考訳（メタデータ） (2024-10-21T22:10:24Z)
• On the Geometry and Optimization of Polynomial Convolutional Networks [2.9816332334719773]
  単項活性化機能を持つ畳み込みニューラルネットワークについて検討する。 我々は、モデルの表現力を測定するニューロマニフォールドの次元と度合いを計算する。 一般的な大規模データセットに対して、回帰損失の最適化に起因した臨界点の数を定量化する明示的な公式を導出する。
  論文  参考訳（メタデータ） (2024-10-01T14:13:05Z)
• Geometric Understanding of Discriminability and Transferability for Visual Domain Adaptation [27.326817457760725]
  教師なしドメイン適応(UDA)のための不変表現学習は、コンピュータビジョンとパターン認識コミュニティにおいて大きな進歩を遂げている。 近年,移動可能性と識別可能性との実証的な関係が注目されている。 本研究では,幾何学的観点から,伝達可能性と識別可能性の本質を体系的に分析する。
  論文  参考訳（メタデータ） (2024-06-24T13:31:08Z)
• Learning Discrete Concepts in Latent Hierarchical Models [73.01229236386148]
  自然の高次元データから学習する概念は、ヒューマンアライメントと解釈可能な機械学習モデルの構築の可能性を秘めている。 我々は概念を階層的因果モデルを通して関連付けられた離散潜在因果変数として定式化する。 我々は、理論的な主張を合成データ実験で裏付ける。
  論文  参考訳（メタデータ） (2024-06-01T18:01:03Z)
• A Hitchhiker's Guide to Geometric GNNs for 3D Atomic Systems [87.30652640973317]
  原子系の計算モデリングの最近の進歩は、これらを3次元ユークリッド空間のノードとして埋め込まれた原子を含む幾何学的グラフとして表現している。 Geometric Graph Neural Networksは、タンパク質構造予測から分子シミュレーション、物質生成まで、幅広い応用を駆動する機械学習アーキテクチャとして好まれている。 本稿では,3次元原子システムのための幾何学的GNNの分野について,包括的で自己完結した概要を述べる。
  論文  参考訳（メタデータ） (2023-12-12T18:44:19Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• The Manifold Scattering Transform for High-Dimensional Point Cloud Data [16.500568323161563]
  本稿では,自然システムにおけるデータセットへの多様体散乱変換の実装のための実践的スキームを提案する。 本手法は信号の分類や多様体の分類に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-21T02:15:00Z)
• Survey: Geometric Foundations of Data Reduction [2.238700807267101]
  本研究の目的は,データ削減における非線形次元減少(NLDR)を簡潔に導入することである。 2001年、マニフォールド学習の概念がラプラシアン固有写像と呼ばれるNLDR法として初めて現れる。 行列と演算子表現を用いて各スペクトル多様体学習を導出し、それから幾何学的一様言語における各手法の収束挙動について議論する。
  論文  参考訳（メタデータ） (2020-08-16T07:59:22Z)
• Disentangling by Subspace Diffusion [72.1895236605335]
  データ多様体の完全教師なし分解は、多様体の真の計量が知られている場合、可能であることを示す。 我々の研究は、教師なしメートル法学習が可能であるかどうかという問題を減らし、表現学習の幾何学的性質に関する統一的な洞察を提供する。
  論文  参考訳（メタデータ） (2020-06-23T13:33:19Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。