論文の概要: On the Level Sets and Invariance of Neural Tuning Landscapes

• arxiv url: http://arxiv.org/abs/2212.13285v1
• Date: Mon, 26 Dec 2022 19:53:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 14:16:43.503071
• Title: On the Level Sets and Invariance of Neural Tuning Landscapes
• Title（参考訳）: ニューラルチューニング景観のレベルセットと不変性について
• Authors: Binxu Wang, Carlos R. Ponce
• Abstract要約: すべての画像空間上の関数としてのニューロンの活性化は「チューニングランドスケープ」と表現されている。 本研究では,レベルセットのレンズとモース理論によるランドスケープのチューニングを特徴付ける。
• 参考スコア（独自算出の注目度）: 7.6146285961466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual representations can be defined as the activations of neuronal populations in response to images. The activation of a neuron as a function over all image space has been described as a "tuning landscape". As a function over a high-dimensional space, what is the structure of this landscape? In this study, we characterize tuning landscapes through the lens of level sets and Morse theory. A recent study measured the in vivo two-dimensional tuning maps of neurons in different brain regions. Here, we developed a statistically reliable signature for these maps based on the change of topology in level sets. We found this topological signature changed progressively throughout the cortical hierarchy, with similar trends found for units in convolutional neural networks (CNNs). Further, we analyzed the geometry of level sets on the tuning landscapes of CNN units. We advanced the hypothesis that higher-order units can be locally regarded as isotropic radial basis functions, but not globally. This shows the power of level sets as a conceptual tool to understand neuronal activations over image space.
• Abstract（参考訳）: 視覚表現は、画像に応じてニューロン集団の活性化として定義することができる。 すべての画像空間上の関数としてのニューロンの活性化は「チューニングランドスケープ」と表現されている。 高次元空間上の関数として、このランドスケープの構造は何でしょう? 本研究では,レベルセットのレンズとモース理論によるランドスケープのチューニングを特徴付ける。 最近の研究では、異なる脳領域のニューロンの2次元チューニングマップを測定した。 そこで我々は,レベル集合の位相変化に基づいて,これらのマップに対する統計的に信頼性の高いシグネチャを開発した。 畳み込みニューラルネットワーク(CNN)では,このトポロジカルシグネチャが皮質階層を通して徐々に変化し,同様の傾向がみられた。 さらに,cnnユニットのチューニング環境におけるレベル集合の幾何解析を行った。 我々は、高次単位は局所的に等方的ラジアル基底関数とみなすことができるが、グローバルではないという仮説を推し進めた。 これは、画像空間上のニューロンの活性化を理解するための概念ツールとして、レベルセットのパワーを示す。

関連論文リスト

• Brain Mapping with Dense Features: Grounding Cortical Semantic Selectivity in Natural Images With Vision Transformers [5.265058307999745]
  本稿では,脳内視覚概念を分離するBrainSAILを紹介する。 BrainSAILは、事前訓練された視覚モデルから意味的に一貫性があり、密集した空間的特徴を利用する。 カテゴリー選択性のある大脳皮質領域におけるBrainSAILの評価を行った。
  論文  参考訳（メタデータ） (2024-10-07T17:59:45Z)
• Finding Shared Decodable Concepts and their Negations in the Brain [4.111712524255376]
  我々は、自然視画像観察中に脳の反応をCLIP埋め込みにマッピングする非常に正確なコントラストモデルを訓練する。 次に、DBSCANクラスタリングアルゴリズムの新たな適応を用いて、参加者固有のコントラストモデルパラメータをクラスタリングする。 各SDCクラスタに最も多く,最も関連付けられていない画像を調べることで,各SDCのセマンティック特性についてさらなる知見が得られる。
  論文  参考訳（メタデータ） (2024-05-27T21:28:26Z)
• Parallel Backpropagation for Shared-Feature Visualization [36.31730251757713]
  最近の研究は、いくつかのカテゴリー外刺激が高レベルの視覚脳領域のニューロンを活性化することを示した。 これは、他の画像にもある好みのクラスに共通する視覚的特徴のためかもしれない。 本稿では,これらの特徴を可視化するためのディープラーニングに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-16T05:56:03Z)
• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Brain Cortical Functional Gradients Predict Cortical Folding Patterns via Attention Mesh Convolution [51.333918985340425]
  我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。 実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-05-21T14:08:53Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
  ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。 提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
  論文  参考訳（メタデータ） (2021-12-23T12:17:47Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• Can the brain use waves to solve planning problems? [62.997667081978825]
  このような課題を解くニューラルネットワークモデルを提案する。 このモデルは、哺乳類の新皮質と海馬に関する幅広い実験的な発見と互換性がある。
  論文  参考訳（メタデータ） (2021-10-11T11:07:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。