論文の概要: Convergent Evolution in Neural Representation Space: Emergent Order in Deep Belief Networks

• arxiv url: http://arxiv.org/abs/2608.05996v1
• Date: Thu, 06 Aug 2026 13:05:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.909621
• Title: Convergent Evolution in Neural Representation Space: Emergent Order in Deep Belief Networks
• Title（参考訳）: ニューラル表現空間における収束的進化:ディープリーフネットワークにおける創発的秩序
• Abstract要約: Deep Belief Networks (DBNs) は階層的な生成モデルをクラス管理なしで学習する。 我々はMNIST、Fashion-MNIST、KMNISTで訓練されたDBNの連続層を解析した。 クラス固有のクラスタリングは、一般的にデータセットとネットワーク幅の深さによって増加する。
• 参考スコア（独自算出の注目度）: 2.925652638976278
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep Belief Networks (DBNs) learn hierarchical generative models without class supervision. Here, we ask whether this purely unsupervised process nevertheless organizes internal representations according to the unknown data classes. We analyze successive layers of DBNs trained on MNIST, Fashion-MNIST, and KMNIST using the Generalized Discrimination Value (GDV), supervised probes applied only after training, a reconstruction-based measure of abstraction distance, effective dimensionality, and free sample generation. Remarkably, class-specific clustering generally increases with depth across datasets and network widths, although no label information is available during DBN training. Control experiments show that this effect depends on the learned feature structure and cannot be explained by random transformations, weight marginals, dimensionality reduction, or sigmoid saturation. The first hidden layers also frequently make class identity more accessible to linear and nonlinear probes. With greater depth, representations become increasingly compact and prototype-like as neurons acquire correlated feature directions. At the same time, GDV and probe accuracy reveal complementary aspects of class structure: improved average clustering can coexist with reduced accessibility for a few difficult class pairs. These findings demonstrate that layer-wise generative learning can spontaneously uncover and progressively amplify class-related structure in unlabeled data.
• Abstract（参考訳）: Deep Belief Networks (DBNs) は階層的な生成モデルをクラス管理なしで学習する。 ここでは、この純粋に教師なしのプロセスが、未知のデータクラスに従って内部表現を整理するかどうかを問う。 我々は,MNIST,Fashion-MNIST,KMNISTで訓練されたDBNの連続層を,一般識別値(GDV)を用いて解析した。 注目すべきは、一般的にクラス固有のクラスタリングは、DBNトレーニング中にラベル情報は入手できないが、データセットとネットワーク幅の深さによって増加することだ。 制御実験により、この効果は学習された特徴構造に依存することが示され、ランダムな変換、重み付け、次元減少、シグモイド飽和によって説明できない。 最初の隠れた層は、しばしば、線形および非線形プローブに対してクラスアイデンティティをよりアクセスしやすくする。 より深い深度で、ニューロンが相関した特徴方向を取得するにつれて、表現はますますコンパクトでプロトタイプのようなものになる。 平均クラスタリングの改善は、いくつかの困難なクラスペアに対して、アクセシビリティの低下と共存することができる。 これらの結果は,階層的生成学習が未ラベルデータのクラス関連構造を自発的に発見し,段階的に増幅できることを示唆している。

関連論文リスト

• Emergent Hierarchical Monosemantic Neurons from the Group-Contrastive Forward-Forward Algorithm [4.838965998214037]
  Group-Contrastive Forward-Forward (GCFF)は、クラス固有のルーティングとクラス内のコントラスト目的を組み合わせた前方トレーニングアルゴリズムである。 CLIP表現では、単一の訓練されたGCFFモジュールが、深度とともに徐々に抽象化が増加する単意味ニューロンを回復する。
  論文  参考訳（メタデータ） (2026-07-13T09:54:35Z)
• An unsupervised tour through the hidden pathways of deep neural networks [6.063903439185316]
  この論文は、教師なし学習ツールによる隠蔽表現の意味的内容の特徴付けに焦点を当てている。 第3章では、最先端のディープニューラルネットワークにおいて、隠れた層にまたがる確率密度の進化について検討する。 第4章では、ディープニューラルネットワークにおける一般化の問題について検討する。
  論文  参考訳（メタデータ） (2025-10-24T15:50:31Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
  Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。 本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。 特徴学習体制下で訓練されたニューラルネットワークに対して,適切な特異ベクトルと重みの値が,クラス内変動の崩壊の大部分の原因となることを示す。
  論文  参考訳（メタデータ） (2024-02-21T11:40:27Z)
• Unsupervised Spatial-Temporal Feature Enrichment and Fidelity Preservation Network for Skeleton based Action Recognition [20.07820929037547]
  非教師なし骨格に基づく行動認識は近年顕著な進歩を遂げている。 既存の教師なし学習手法は、過度なオーバーフィッティング問題に悩まされる。 本稿では,高機能化を実現するために,非教師付き時空間特徴強調・忠実度保存フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-25T09:24:07Z)
• URLOST: Unsupervised Representation Learning without Stationarity or Topology [26.010647961403148]
  定常性やトポロジの事前知識のない高次元データから学習する新しいフレームワークを提案する。 このモデルでは,学習可能な自己組織化層,スペクトルクラスタリング,マスク付きオートエンコーダを組み合わせる。 本研究は,生体視覚データ,一次視覚野からの神経記録,遺伝子発現を含む3種類のデータモダリティに対して有効性を評価する。
  論文  参考訳（メタデータ） (2023-10-06T18:00:02Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• High-order structure preserving graph neural network for few-shot learning [10.296473510866228]
  メタラーニングの類似度測定により,先行知識とクエリデータとの間の潜在構造情報を見つけることは少ない。 既存の手法のほとんどは、タスク内のサンプルの類似性関係をモデル化し、新しいカテゴリを特定するためにモデルを一般化しようとするものである。 提案した高次構造保存グラフニューラルネットワーク(HOSP-GNN)は,サンプルの豊富な構造を探索し,グラフ上のクエリデータのラベルを予測する。
  論文  参考訳（メタデータ） (2020-05-29T06:38:51Z)
• Internal representation dynamics and geometry in recurrent neural networks [10.016265742591674]
  本稿では,バニラRNNがネットワークのダイナミクスを解析することにより,単純な分類タスクを実現する方法を示す。 初期の内部表現はデータの実際のラベルから解放されるが、この情報は出力層に直接アクセスできない。
  論文  参考訳（メタデータ） (2020-01-09T23:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。