論文の概要: Emergent Hierarchical Monosemantic Neurons from the Group-Contrastive Forward-Forward Algorithm

• arxiv url: http://arxiv.org/abs/2607.16295v1
• Date: Mon, 13 Jul 2026 09:54:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.093861
• Title: Emergent Hierarchical Monosemantic Neurons from the Group-Contrastive Forward-Forward Algorithm
• Title（参考訳）: Group-Contrastive Forward-Forward Algorithm を用いた先進的階層型単意味ニューロン
• Abstract要約: Group-Contrastive Forward-Forward (GCFF)は、クラス固有のルーティングとクラス内のコントラスト目的を組み合わせた前方トレーニングアルゴリズムである。 CLIP表現では、単一の訓練されたGCFFモジュールが、深度とともに徐々に抽象化が増加する単意味ニューロンを回復する。
• 参考スコア（独自算出の注目度）: 4.838965998214037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability has made significant strides in understanding neural network representations, with sparse dictionary learning (SDL) methods, most prominently sparse autoencoders, as a central paradigm. However, recent work has reported several limitations of this paradigm: SDL objectives are non-identifiable; SDL methods rely heavily on the Linear Representation Hypothesis; and a growing body of evidence points to concepts that are encoded non-linearly and are therefore not expressible as any single direction. We hypothesise that a different route to monosemanticity is available. Biological visual systems exhibit highly selective neurons organised into hierarchies of increasing abstraction, and this organisation emerges from local, layer-wise learning rules rather than from a global error signal; we therefore ask whether a biologically plausible learning algorithm will likewise yield monosemantic neurons. To test this, we propose Group-Contrastive Forward-Forward (GCFF), a forward-forward training algorithm that combines class-specific routing with within-class contrastive objectives, reaching monosemanticity through architectural constraints rather than sparsity. Because GCFF attaches multiple non-linear layers to the representation under study, its neurons can therefore capture the non-linear concepts. On CLIP representations, a single trained GCFF module recovers monosemantic neurons whose abstraction increases progressively with depth, reaching environmental properties that hold independently of an image's foreground, without any sparsity constraint or supervision of abstraction level. We further demonstrate that GCFF can train networks from scratch, achieving state-of-the-art performance among forward-forward algorithms on various image classification benchmarks.
• Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、疎辞書学習(SDL)メソッドを中心パラダイムとして、ニューラルネットワーク表現の理解に大きく貢献している。 しかし、最近の研究は、このパラダイムのいくつかの制限を報告している: SDL の目的は識別不可能であり、SDL の手法は線形表現仮説に大きく依存している。 我々は、モノセマンティズムへの別のルートが利用できると仮定する。 生体視覚系は,抽象性の増大の階層構造に高度に選択的に編成されたニューロンを呈し,この組織はグローバルなエラー信号ではなく,局所的な階層的な学習規則から生じ,生物学的に妥当な学習アルゴリズムが単節性ニューロンを生産するかどうかを問う。 これをテストするために,クラス固有のルーティングとクラス内のコントラスト目的を組み合わせた前向きトレーニングアルゴリズムGCFFを提案する。 GCFFは研究対象の表現に複数の非線形層を付加するため、そのニューロンは非線型の概念を捉えることができる。 CLIP表現では、単一の訓練されたGCFFモジュールが、画像の前景から独立して保持する環境特性に到達して、抽象性の制約や監督を伴わずに、抽象化が深みとともに徐々に増加する単意味ニューロンを回復する。 さらに,GCFFがネットワークをスクラッチからトレーニングし,様々な画像分類ベンチマークにおいて,フォワードアルゴリズムの最先端性能を実現することを実証した。

関連論文リスト

• Convergent Evolution in Neural Representation Space: Emergent Order in Deep Belief Networks [2.925652638976278]
  Deep Belief Networks (DBNs) は階層的な生成モデルをクラス管理なしで学習する。 我々はMNIST、Fashion-MNIST、KMNISTで訓練されたDBNの連続層を解析した。 クラス固有のクラスタリングは、一般的にデータセットとネットワーク幅の深さによって増加する。
  論文  参考訳（メタデータ） (2026-08-06T13:05:37Z)
• Toward a Multi-View Brain Network Foundation Model: Cross-View Consistency Learning Across Arbitrary Atlases [62.33465338932216]
  MV-BrainFMは任意のアトラスで構築された脳ネットワークから一般化可能でスケーラブルな表現を学ぶために設計された多視点脳ネットワーク基盤モデルである。 17のfMRIデータセットから20万名以上の被験者を対象に行った実験では、MV-BrainFMは既存の14の脳ネットワーク基盤モデルより一貫して優れていた。
  論文  参考訳（メタデータ） (2026-03-20T11:55:00Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• URLOST: Unsupervised Representation Learning without Stationarity or Topology [26.010647961403148]
  定常性やトポロジの事前知識のない高次元データから学習する新しいフレームワークを提案する。 このモデルでは,学習可能な自己組織化層,スペクトルクラスタリング,マスク付きオートエンコーダを組み合わせる。 本研究は,生体視覚データ,一次視覚野からの神経記録,遺伝子発現を含む3種類のデータモダリティに対して有効性を評価する。
  論文  参考訳（メタデータ） (2023-10-06T18:00:02Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Bio-Inspired, Task-Free Continual Learning through Activity Regularization [3.5502600490147196]
  継続的学習アプローチは通常、個別のタスク境界を必要とする。 我々は神経科学からインスピレーションを得ており、忘れるのを防ぐために、スパースで重複しない神経表現が提案されている。 空間性に加えて,各層に横方向のリカレント接続を導入し,事前学習した表現をさらに保護する。 本手法は,タスク境界に関する情報を必要とせずに,弾性重み統合やシナプスインテリジェンスなどのよく知られたCL手法と類似した性能を実現する。
  論文  参考訳（メタデータ） (2022-12-08T15:14:20Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Learning Compact Representations of Neural Networks using DiscriminAtive Masking (DAM) [2.1629276606305057]
  ディープラーニングにおける中心的な目標は、ニューラルネットワークのすべての層における機能のコンパクトな表現を学習することである。 離散型マスキング(DAM: DiscriminAtive Masking)と呼ばれる新しい単一ステージ型プルーニング法を提案する。 提案したDAMアプローチは,様々なアプリケーションに対して極めて優れた性能を示している。
  論文  参考訳（メタデータ） (2021-10-01T23:31:46Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。