論文の概要: Statistical Mechanics of Neural Processing of Object Manifolds
- arxiv url: http://arxiv.org/abs/2106.00790v1
- Date: Tue, 1 Jun 2021 20:49:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 14:22:49.186254
- Title: Statistical Mechanics of Neural Processing of Object Manifolds
- Title(参考訳): 物体マニフォールドのニューラルプロセッシングの統計力学
- Authors: SueYeon Chung
- Abstract要約: この論文は、物体の神経処理の計算理論の基礎を築いた。
多様体のキャパシティは,有効半径, R_M, 有効次元, D_Mと決定される。
- 参考スコア(独自算出の注目度): 3.4809730725241605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Invariant object recognition is one of the most fundamental cognitive tasks
performed by the brain. In the neural state space, different objects with
stimulus variabilities are represented as different manifolds. In this
geometrical perspective, object recognition becomes the problem of linearly
separating different object manifolds. In feedforward visual hierarchy, it has
been suggested that the object manifold representations are reformatted across
the layers, to become more linearly separable. Thus, a complete theory of
perception requires characterizing the ability of linear readout networks to
classify object manifolds from variable neural responses.
A theory of the perceptron of isolated points was pioneered by E. Gardner who
formulated it as a statistical mechanics problem and analyzed it using replica
theory. In this thesis, we generalize Gardner's analysis and establish a theory
of linear classification of manifolds synthesizing statistical and geometric
properties of high dimensional signals. [..] Next, we generalize our theory
further to linear classification of general perceptual manifolds, such as point
clouds. We identify that the capacity of a manifold is determined that
effective radius, R_M, and effective dimension, D_M. Finally, we show
extensions relevant for applications to real data, incorporating correlated
manifolds, heterogenous manifold geometries, sparse labels and nonlinear
classifications. Then, we demonstrate how object-based manifolds transform in
standard deep networks.
This thesis lays the groundwork for a computational theory of neuronal
processing of objects, providing quantitative measures for linear separability
of object manifolds. We hope this theory will provide new insights into the
computational principles underlying processing of sensory representations in
biological and artificial neural networks.
- Abstract(参考訳): 不変物体認識は、脳が行う最も基本的な認知タスクの1つである。
神経状態空間では、刺激変動を持つ異なる物体は異なる多様体として表現される。
この幾何学的な観点では、オブジェクト認識は異なるオブジェクト多様体を線形に分離する問題となる。
フィードフォワードの視覚階層では、オブジェクト多様体の表現は層全体に再フォーマットされ、より線形に分離可能であることが示唆されている。
したがって、知覚の完全な理論は、可変神経応答から対象多様体を分類する線形読み出しネットワークの能力を特徴付ける必要がある。
孤立点の知覚論は、E. Gardnerがこれを統計力学問題として定式化し、レプリカ理論を用いて解析した。
本稿では、ガードナーの解析を一般化し、高次元信号の統計的および幾何学的性質を合成する多様体の線形分類の理論を確立する。
次に、我々の理論をさらに一般化して、点雲のような一般的な知覚多様体の線形分類を行う。
多様体のキャパシティは,有効半径, R_M, 有効次元, D_Mと決定される。
最後に、相関多様体、異種多様体ジオメトリ、スパースラベル、非線形分類を含む実データへの応用に関する拡張を示す。
次に、オブジェクトベース多様体が標準深層ネットワークでどのように変換されるかを示す。
この論文は、対象の神経処理の計算理論の基礎を定め、対象多様体の線形分離性に関する定量的測度を提供する。
この理論が、生体および人工ニューラルネットワークにおける感覚表現の処理の基礎となる計算原理に新たな洞察を与えることを期待している。
関連論文リスト
- A Hitchhiker's Guide to Geometric GNNs for 3D Atomic Systems [87.30652640973317]
原子系の計算モデリングの最近の進歩は、これらを3次元ユークリッド空間のノードとして埋め込まれた原子を含む幾何学的グラフとして表現している。
Geometric Graph Neural Networksは、タンパク質構造予測から分子シミュレーション、物質生成まで、幅広い応用を駆動する機械学習アーキテクチャとして好まれている。
本稿では,3次元原子システムのための幾何学的GNNの分野について,包括的で自己完結した概要を述べる。
論文 参考訳(メタデータ) (2023-12-12T18:44:19Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳(メタデータ) (2023-07-24T17:03:28Z) - Geometric Graph Filters and Neural Networks: Limit Properties and
Discriminability Trade-offs [122.06927400759021]
本稿では,グラフニューラルネットワーク (GNN) と多様体ニューラルネットワーク (MNN) の関係について検討する。
これらのグラフ上の畳み込みフィルタとニューラルネットワークが連続多様体上の畳み込みフィルタとニューラルネットワークに収束することを示す。
論文 参考訳(メタデータ) (2023-05-29T08:27:17Z) - Toward a Geometric Theory of Manifold Untangling [12.229735866373073]
我々は、距離距離計量を人工的に定義することなく、位相空間において非自在な多様体に対するより一般的な解が存在すると推測する。
大域的多様体埋め込みと局所的多様体平坦化の両方の一般的な戦略を提示し、画像、音声、言語データのアンハングリングに関する既存の研究と結びつけた。
論文 参考訳(メタデータ) (2023-03-07T19:47:01Z) - Towards a mathematical understanding of learning from few examples with
nonlinear feature maps [68.8204255655161]
トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。
我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
論文 参考訳(メタデータ) (2022-11-07T14:52:58Z) - Understanding Deep Learning using Topological Dynamical Systems, Index
Theory, and Homology [0.0]
ニューラルネットワークの個々のニューロンが、NNが学習した決定面に対する単純な複素多様体の単純な近似にどのように対応できるかを示す。
また,NNが学習した確率密度関数の勾配が,多種多様なトポロジカルツールを用いて解析可能な力学系をいかに生み出すかを示す。
論文 参考訳(メタデータ) (2022-07-25T01:58:08Z) - The Manifold Scattering Transform for High-Dimensional Point Cloud Data [16.500568323161563]
本稿では,自然システムにおけるデータセットへの多様体散乱変換の実装のための実践的スキームを提案する。
本手法は信号の分類や多様体の分類に有効であることを示す。
論文 参考訳(メタデータ) (2022-06-21T02:15:00Z) - Survey: Geometric Foundations of Data Reduction [2.238700807267101]
本研究の目的は,データ削減における非線形次元減少(NLDR)を簡潔に導入することである。
2001年、マニフォールド学習の概念がラプラシアン固有写像と呼ばれるNLDR法として初めて現れる。
行列と演算子表現を用いて各スペクトル多様体学習を導出し、それから幾何学的一様言語における各手法の収束挙動について議論する。
論文 参考訳(メタデータ) (2020-08-16T07:59:22Z) - Disentangling by Subspace Diffusion [72.1895236605335]
データ多様体の完全教師なし分解は、多様体の真の計量が知られている場合、可能であることを示す。
我々の研究は、教師なしメートル法学習が可能であるかどうかという問題を減らし、表現学習の幾何学的性質に関する統一的な洞察を提供する。
論文 参考訳(メタデータ) (2020-06-23T13:33:19Z) - Emergence of Separable Manifolds in Deep Language Representations [26.002842878797765]
ディープニューラルネットワーク(DNN)は、様々な認知的モダリティをまたいだ知覚的タスクの解決において、非常に経験的な成功を示している。
最近の研究では、タスク最適化DNNから抽出された表現と脳内の神経集団の間にかなりの類似性が報告されている。
DNNは後に、複雑な認知機能の基礎となる計算原理を推論する一般的なモデルクラスとなった。
論文 参考訳(メタデータ) (2020-06-01T17:23:44Z) - Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。
そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。
画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
論文 参考訳(メタデータ) (2020-02-18T17:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。