論文の概要: The Tangled Web They Weave: Exploring Neural Representations with Directed Simplicial Complexes
- arxiv url: http://arxiv.org/abs/2611.00786v1
- Date: Sat, 31 Oct 2026 09:58:53 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:58:51.634175
- Title: The Tangled Web They Weave: Exploring Neural Representations with Directed Simplicial Complexes
- Title(参考訳): それらが織るTangled Web: 直交した単純なコンプレックスによるニューラル表現の探索
- Abstract要約: 我々は、人工知能(ANN)が機能をどのように表現し、組み合わさっているかを研究する。
本稿では,そのような依存関係のトポロジカルな表現を与えるため,フィルタ付き有向simplicial Complex (DSC) を構築する手法を提案する。
本研究は,マルチニューロン計算のコンテキスト依存記述としてDSCをサポートする。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Understanding how artificial neural networks (ANNs) represent and combine features internally is a central challenge in mechanistic interpretability. Existing neural circuit-discovery methods represent neuron interactions as pairwise edges in a graph. But distributed neural representations consist of large groups of neurons that are inherently linked by higher-order causal dependencies: suppressing a subgroup of neurons in concert may shift the activation of other neurons in the feature representation. We propose a method to construct filtered directed simplicial complexes (DSCs) that give a topological representation of such dependencies, built from the activation profiles of an ANN on a given set of inputs. Our approach treats ANNs as structural causal models and uses counterfactual ablations to test for causal links between groups of internal neurons within specific input contexts. As a proof of concept, we apply the approach to a pair of small multilayer perceptron (MLP) architectures in a synthetic two-dimensional quadrant classification task. In these examples, DSCs recover the designed feature pathways and coordinated class transitions, and the complexes of trained networks are higher-dimensional than those of their handcrafted references. As validation, we compare our method with graph-based circuit-discovery baselines and find that their 1-skeletons agree within the relations that a weight graph can represent. These results support DSCs as context-dependent descriptions of multi-neuron computation and may thus provide a novel, orthogonal framework to study the phenomenon of distributed feature representations and polysemanticity.
- Abstract(参考訳): 人工知能(ANN)が機能をどのように表現し、内部で組み合わせるかを理解することは、機械的解釈可能性における中心的な課題である。
既存のニューラル・サーキット・ディスカバリー法は、グラフ内の一対のエッジとしてニューロンの相互作用を表す。
しかし、分散された神経表現は、高次因果依存性によって本質的に結びついている大きなニューロンのグループから構成される: 結合中のニューロンのサブグループを抑制することは、特徴表現における他のニューロンの活性化をシフトさせる可能性がある。
本稿では,ANNの活性化プロファイルから所定の入力セット上に構築した,そのような依存関係のトポロジ的表現を提供する,フィルタ付き有向simplicial Complex (DSCs) を構築する手法を提案する。
提案手法は、ANNを構造因果モデルとして扱い、特定の入力コンテキスト内で内部ニューロン群間の因果関係をテストするために、反ファクト的アブレーションを用いている。
概念実証として、合成2次元四元数分類タスクにおいて、一対の小さな多層パーセプトロン(MLP)アーキテクチャにアプローチを適用する。
これらの例では、DSCは設計した特徴経路と調整されたクラス遷移を復元し、訓練されたネットワークの複合体は手作りの参照よりも高次元である。
検証として,本手法をグラフに基づく回路探索ベースラインと比較し,重みグラフが表現できる関係において,それらの1-骨格が一致していることを見出した。
これらの結果は、多ニューロン計算の文脈依存的な記述としてDSCをサポートし、分散特徴表現と多意味性(polysemanticity)の現象を研究するための、新しい直交の枠組みを提供する可能性がある。
関連論文リスト
- The Human Brain as a Combinatorial Complex [3.849079578881503]
現在のグラフベースの脳ネットワークの表現は、神経の複雑さを特徴づける高次の依存関係を見逃している。
本稿では,fMRI時系列データから複合体(CC)を構築するためのフレームワークを提案する。
この研究は、従来のグラフ手法では見えない、基本的な高次構造を保存する脳ネットワーク表現のためのフレームワークを提供する。
論文 参考訳(メタデータ) (2025-11-22T19:04:13Z) - Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。
本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。
NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
論文 参考訳(メタデータ) (2025-10-19T14:23:35Z) - Self-Supervised Discovery of Neural Circuits in Spatially Patterned Neural Responses with Graph Neural Networks [0.0]
神経集団活動からシナプス接続を推定することは、計算神経科学の基本的な課題である。
本稿では,ニューロンをグラフ内の相互作用ノードとしてモデル化することにより,同時に神経活動を予測するグラフベースニューラルネットワークモデルを提案する。
論文 参考訳(メタデータ) (2025-09-21T17:46:43Z) - Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。
神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。
私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
論文 参考訳(メタデータ) (2025-05-16T13:49:43Z) - NeurFlow: Interpreting Neural Networks through Neuron Groups and Functional Interactions [16.00223741620103]
本稿では、個々のニューロンの分析からニューロン群の調査へと焦点を移す新しい枠組みを提案する。
自動フレームワークNeurFlowは、まずコアニューロンを特定し、共有機能関係に基づいてグループにクラスタ化する。
論文 参考訳(メタデータ) (2025-02-22T06:01:03Z) - Formation of Representations in Neural Networks [8.79431718760617]
現代のニューラルネットワークにおいて、いかに複雑で構造化され、伝達可能な表現が出現するかは謎のままである。
本稿では、表現の形成を普遍的に支配する6つのアライメント関係の集合を仮定したCRH(Canonical Representation hypothesis)を提案する。
CRHの崩壊はR,W,Gの相互関係の出現につながり,この関係をPAH(Polynomial Alignment hypothesis)と呼ぶ。
論文 参考訳(メタデータ) (2024-10-03T21:31:01Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。