論文の概要: Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy

• arxiv url: http://arxiv.org/abs/2609.05126v1
• Date: Fri, 04 Sep 2026 13:25:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.05549
• Title: Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy
• Title（参考訳）: 粗粒化隠れ表現:マッピングエントロピーによる教師なしニューロン選択
• Abstract要約: 教師と学生のネットワークでは、MEは教師の一貫性の最小限の表現を回復し、余分なユニットを保持する。 非線形ガウスプロセスタスクでは、MEはトレーニング間で好ましいクラスシフトを持つコヒーレントな機能クラスマッピングを選択する。 このタスクと変換拡張MNISTでは、ME-selectedworksは等しい大きさのランダムなサブセットより優れている。
• 参考スコア（独自算出の注目度）: 37.56003520528009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overparameterized neural networks carry far more hidden units than a task nominally requires, raising the question of which neurons are essential and whether that distinction is legible in the representation itself, without labels or gradients. We cast neuron selection as the problem of coarse-graining the hidden layer by retaining a subset of its neurons, and score each putative selection by the mapping entropy (ME). This quantity measures the loss of discriminatory power inherent in discarding part of the network neurons, and the selection that minimises the ME is taken as particularly informative. This criterion is fully unsupervised, in that it depends only on hidden-activation statistics. In teacher-student networks, ME optimisation recovers the minimal teacher-consistent representation and retains extra units in proportion to the hidden layer's residual variability; in a non-linear Gaussian process task, it selects coherent functional-class mappings whose preferred class shifts across training. On this task and on translation-augmented MNIST, ME-selected subnetworks outperform random subsets of equal size, most clearly under strong compression - linking configurational distinguishability to predictive performance.
• Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークは、名目上要求されるタスクよりもはるかに多くの隠れたユニットを持ち、どのニューロンが必須か、その区別がラベルや勾配なしで表現自体に正当かどうかという疑問を提起する。 我々は,ニューロンのサブセットを保持することで,隠れた層を粗粒化させる問題としてニューロン選択を論じ,マッピングエントロピー(ME)による各配置選択をスコアした。 この量は、ネットワークニューロンの廃棄に固有の識別力の喪失を測定し、MEを最小化する選択を特に有益とみなす。 この基準は完全に教師なしであり、隠された活性化統計にのみ依存する。 教師-学生ネットワークにおいて、ME最適化は最小限の教師-一貫性表現を回復し、隠れた階層の残差に比例して余分な単位を保持する。 このタスクと変換拡張されたMNISTでは、ME選択サブネットワークが同じサイズのランダムサブセットよりも優れており、特に強い圧縮の下では、構成上の区別可能性と予測性能をリンクしている。

関連論文リスト

• Sparse Inter-Layer Dependencies of Transformer FFN Neurons [32.00544060412007]
  FFNニューロンの活性化は、前回のニューロン活性化と注意出力のスパースセットによって説明できるかどうかを検討する。 本研究では、上流ニューロンの相対的影響と、標的ニューロンの活性化に対する注意出力を推定する学習自由属性法を提案する。
  論文  参考訳（メタデータ） (2026-07-13T15:04:50Z)
• Optimization of randomized neural networks for transfer operator approximation [0.5027571997864707]
  RaNNDyは、転送演算子のデータ駆動近似のためのランダム化されたニューラルネットワークアーキテクチャである。 ネットワークの隠されたレイヤの重みとバイアスはランダムに固定され、出力層のみが訓練される。 これは、完全に最適化されたニューラルネットワーク、特に出力層に対するクローズドフォームソリューションに対して、いくつかの利点がある。
  論文  参考訳（メタデータ） (2026-05-22T14:47:17Z)
• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Much Easier Said Than Done: Falsifying the Causal Relevance of Linear Decoding Methods [1.3999481573773074]
  線形分類器プローブは、高い選択性を持つユニットをネットワーク機能にとって最も重要なものとして識別する。 選択的ニューロンに対するアブレーション効果がないにもかかわらず、線形復号法はネットワーク機能の解釈に効果的に利用できる。 具体的には,AlexNet,VGG16,MobileNetV2,ResNet101のユニット群において,選択性とユニットの平均活動の相互作用がアブレーション性能の低下を予測できることを示す。
  論文  参考訳（メタデータ） (2022-11-08T16:43:02Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。