論文の概要: Generalized Shape Metrics on Neural Representations

• arxiv url: http://arxiv.org/abs/2110.14739v1
• Date: Wed, 27 Oct 2021 19:48:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-30 12:21:00.527084
• Title: Generalized Shape Metrics on Neural Representations
• Title（参考訳）: ニューラル表現における一般化形状計量
• Authors: Alex H. Williams and Erin Kunz and Simon Kornblith and Scott W. Linderman
• Abstract要約: 表現上の相似性を定量化する計量空間の族を提供する。 我々は、正準相関解析に基づいて既存の表現類似度尺度を修正し、三角形の不等式を満たす。 解剖学的特徴とモデル性能の観点から解釈可能な神経表現の関係を同定する。
• 参考スコア（独自算出の注目度）: 26.78835065137714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the operation of biological and artificial networks remains a difficult and important challenge. To identify general principles, researchers are increasingly interested in surveying large collections of networks that are trained on, or biologically adapted to, similar tasks. A standardized set of analysis tools is now needed to identify how network-level covariates -- such as architecture, anatomical brain region, and model organism -- impact neural representations (hidden layer activations). Here, we provide a rigorous foundation for these analyses by defining a broad family of metric spaces that quantify representational dissimilarity. Using this framework we modify existing representational similarity measures based on canonical correlation analysis to satisfy the triangle inequality, formulate a novel metric that respects the inductive biases in convolutional layers, and identify approximate Euclidean embeddings that enable network representations to be incorporated into essentially any off-the-shelf machine learning method. We demonstrate these methods on large-scale datasets from biology (Allen Institute Brain Observatory) and deep learning (NAS-Bench-101). In doing so, we identify relationships between neural representations that are interpretable in terms of anatomical features and model performance.
• Abstract（参考訳）: 生物学的および人工ネットワークの運用を理解することは、依然として困難かつ重要な課題である。 一般的な原則を特定するため、研究者は、同様のタスクでトレーニングされたり、生物学的に適応されたネットワークの大規模なコレクションの調査にますます関心を寄せている。 ネットワークレベルの共変量(アーキテクチャ、解剖学的脳領域、モデル生物など)がどのように神経表現(隠れ層活性化)に影響を与えるかを特定するには、標準化された分析ツールセットが必要である。 ここでは、表現的異質性を定量化する広い距離空間の族を定義することにより、これらの解析の厳密な基礎を提供する。 このフレームワークを用いて、正準相関解析に基づく既存の表現類似度尺度を修正して、三角形の不等式を満足させ、畳み込み層の帰納バイアスを尊重する新しい計量を定式化し、ネットワーク表現を本質的に既成の機械学習手法に組み込むことができる近似ユークリッド埋め込みを同定する。 生物学(アレン研究所脳観測所)と深層学習(nas-bench-101)の大規模データセットでこれらの手法を実証する。 そこで我々は、解剖学的特徴とモデル性能の観点から解釈可能な神経表現の関係を同定する。

関連論文リスト

• Topological Representational Similarity Analysis in Brains and Beyond [15.417809900388262]
  この論文では、神経表現の幾何学的および位相的特性を組み合わせた新しいフレームワークであるトポロジカルRSA(tRSA)を紹介する。 tRSAは非線型単調変換を表現上の相似性に適用し、中間スケールの幾何学を維持しながら局所位相を強調する。 結果として生じる地形行列は、ノイズや個々の慣用性に頑健なモデル比較を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T19:02:00Z)
• Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
  多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。 我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
  論文  参考訳（メタデータ） (2024-07-19T20:50:57Z)
• Pruning neural network models for gene regulatory dynamics using data and domain knowledge [24.670514977455202]
  本稿では,モデルフィッティングにおけるドメイン固有構造情報を用いてネットワークプルーニングをガイドするフレームワークであるDASHを提案する。 DASHは、遺伝子相互作用パートナーに関する知識を用いて、一般的な刈り取り法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-05T23:02:55Z)
• Probing Biological and Artificial Neural Networks with Task-dependent Neural Manifolds [12.037840490243603]
  本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。 学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。 これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
  論文  参考訳（メタデータ） (2023-12-21T20:40:51Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• An explainability framework for cortical surface-based deep learning [110.83289076967895]
  我々は,皮質表面の深層学習のためのフレームワークを開発した。 まず,表面データに摂動に基づくアプローチを適用した。 我々の説明可能性フレームワークは,重要な特徴とその空間的位置を識別できるだけでなく,信頼性と有効性も示している。
  論文  参考訳（メタデータ） (2022-03-15T23:16:49Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Complexity for deep neural networks and other characteristics of deep feature representations [0.0]
  ニューラルネットワークの計算の非線形性を定量化する複雑性の概念を定義する。 トレーニング対象ネットワークとトレーニング対象ネットワークの動的特性の両面から,これらのオブザーバブルについて検討する。
  論文  参考訳（メタデータ） (2020-06-08T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。