論文の概要: Semantic representations emerge in biologically inspired ensembles of cross-supervising neural networks

• arxiv url: http://arxiv.org/abs/2510.14486v1
• Date: Thu, 16 Oct 2025 09:30:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.798604
• Title: Semantic representations emerge in biologically inspired ensembles of cross-supervising neural networks
• Title（参考訳）: 生物学的にインスピレーションを受けたニューラルネットワークのセマンティック表現
• Authors: Roy Urbach, Elad Schneidman,
• Abstract要約: 本稿では,ニューラルネットワークのアンサンブルによる表現学習モデルを提案する。 各ネットワークは、他のネットワークとの相互作用を相互に監督することにより、刺激を抽象的な表現空間にエンコードすることを学ぶ。 ネットワーク間の疎結合性は全対一の相互作用とほぼ同程度である。
• 参考スコア（独自算出の注目度）: 1.5346678870160888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brains learn to represent information from a large set of stimuli, typically by weak supervision. Unsupervised learning is therefore a natural approach for exploring the design of biological neural networks and their computations. Accordingly, redundancy reduction has been suggested as a prominent design principle of neural encoding, but its ``mechanistic'' biological implementation is unclear. Analogously, unsupervised training of artificial neural networks yields internal representations that allow for accurate stimulus classification or decoding, but typically rely on biologically-implausible implementations. We suggest that interactions between parallel subnetworks in the brain may underlie such learning: we present a model of representation learning by ensembles of neural networks, where each network learns to encode stimuli into an abstract representation space by cross-supervising interactions with other networks, for inputs they receive simultaneously or in close temporal proximity. Aiming for biological plausibility, each network has a small ``receptive field'', thus receiving a fixed part of the external input, and the networks do not share weights. We find that for different types of network architectures, and for both visual or neuronal stimuli, these cross-supervising networks learn semantic representations that are easily decodable and that decoding accuracy is comparable to supervised networks -- both at the level of single networks and the ensemble. We further show that performance is optimal for small receptive fields, and that sparse connectivity between networks is nearly as accurate as all-to-all interactions, with far fewer computations. We thus suggest a sparsely interacting collective of cross-supervising networks as an algorithmic framework for representational learning and collective computation in the brain.
• Abstract（参考訳）: 脳は、一般に弱い監督によって、大きな刺激の集合から情報を表現することを学ぶ。 したがって、教師なし学習は、生物学的ニューラルネットワークとその計算の設計を探索するための自然なアプローチである。 したがって、冗長性の低減はニューラルエンコーディングの顕著な設計原理として提案されているが、その「機械的」な生物学的実装は不明確である。 対照的に、教師なしのニューラルネットワークのトレーニングは、正確な刺激分類や復号を可能にする内部表現をもたらすが、通常は生物学的に実現可能な実装に依存している。 ニューラルネットワークのアンサンブルによる表現学習モデルでは、各ネットワークが、他のネットワークとの相互作用を相互に監視することで、刺激を抽象的な表現空間にエンコードすることを学ぶ。 生物学的な可視性を目指して、各ネットワークは「受容場」が小さいので、外部入力の固定部分を受け取り、ネットワークは重みを共有しない。 異なるタイプのネットワークアーキテクチャや視覚的あるいは神経的な刺激に対して、これらの相互監視ネットワークは容易にデオード可能なセマンティック表現を学び、復号精度は教師付きネットワーク(シングルネットワークとアンサンブルの両方)に匹敵する。 さらに,ネットワーク間の疎結合性は全対一の相互作用とほぼ同等であり,計算量もはるかに少ないことが示唆された。 そこで我々は,脳内の表現学習と集合計算のためのアルゴリズム的枠組みとして,相互監視ネットワークの疎結合な集合を提案する。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
  我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。 具体的には、ニューラルネットワーク内の機能的に類似した表現の概念に基づく、新しい自動化されたタスク非依存のアプローチについて検討する。 提案手法は,人間と計算コストを最小限に抑えたニューラルネットワークの動作に関する有意義な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-21T20:19:00Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Functional Connectome: Approximating Brain Networks with Artificial Neural Networks [1.952097552284465]
  訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。 訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。 本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
  論文  参考訳（メタデータ） (2022-11-23T13:12:13Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks [3.7277730514654555]
  決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。 同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
  論文  参考訳（メタデータ） (2020-02-11T11:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。