論文の概要: Learning from Emergence: A Study on Proactively Inhibiting the Monosemantic Neurons of Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2312.11560v3
- Date: Wed, 19 Jun 2024 11:18:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 05:58:16.076886
- Title: Learning from Emergence: A Study on Proactively Inhibiting the Monosemantic Neurons of Artificial Neural Networks
- Title（参考訳）: 創発から学ぶ:ニューラルネットワークのモノセマンティックニューロンを積極的に阻害する研究
- Authors: Jiachuan Wang, Shimin Di, Lei Chen, Charles Wang Wai Ng,
- Abstract要約: オンライン計算の効率性を保証するため,ニューロンのモノセマンティリティを測定するための新しい指標を提案する。
モノセマンティリティが異なるモデルスケールで性能変化をもたらすという予想を検証する。
- 参考スコア（独自算出の注目度）: 10.390475063385756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, emergence has received widespread attention from the research community along with the success of large-scale models. Different from the literature, we hypothesize a key factor that promotes the performance during the increase of scale: the reduction of monosemantic neurons that can only form one-to-one correlations with specific features. Monosemantic neurons tend to be sparser and have negative impacts on the performance in large models. Inspired by this insight, we propose an intuitive idea to identify monosemantic neurons and inhibit them. However, achieving this goal is a non-trivial task as there is no unified quantitative evaluation metric and simply banning monosemantic neurons does not promote polysemanticity in neural networks. Therefore, we first propose a new metric to measure the monosemanticity of neurons with the guarantee of efficiency for online computation, then introduce a theoretically supported method to suppress monosemantic neurons and proactively promote the ratios of polysemantic neurons in training neural networks. We validate our conjecture that monosemanticity brings about performance change at different model scales on a variety of neural networks and benchmark datasets in different areas, including language, image, and physics simulation tasks. Further experiments validate our analysis and theory regarding the inhibition of monosemanticity.
- Abstract（参考訳）: 近年,大規模モデルの成功とともに,研究コミュニティから注目が集まっている。
文献と異なり、我々は、特定の特徴と1対1の相関しか形成できない単意味ニューロンの減少という、スケールの増大におけるパフォーマンスを促進する重要な要因を仮説化している。
単意味ニューロンはスペーサーであり、大きなモデルの性能に悪影響を及ぼす傾向がある。
この知見に触発されて,単節性ニューロンを同定し,抑制する直感的なアイデアを提案する。
しかし、この目標を達成することは、統一的な定量的評価基準がなく、単節性ニューロンの禁止はニューラルネットワークの多節性を促進するものではないため、非自明な作業である。
そこで,我々はまず,オンライン計算の効率を保証してニューロンのモノセマンティック性を測定するための新しい指標を提案し,その上で,単セマンティックニューロンの抑制と,トレーニングニューラルネットワークにおける多セマンティックニューロンの比率を積極的に促進する理論的支援手法を提案する。
モノセマンティリティは、言語、画像、物理シミュレーションタスクを含むさまざまな分野のさまざまなニューラルネットワークやベンチマークデータセットにおいて、さまざまなモデルスケールのパフォーマンス変化をもたらすという予想を検証する。
さらなる実験は、モノセマンティティーの阻害に関する我々の分析と理論を検証する。
関連論文リスト
- Encourage or Inhibit Monosemanticity? Revisit Monosemanticity from a Feature Decorrelation Perspective [30.290777756014748]
単意味ニューロンは単一の概念と特定の概念に特化しており、ニューロンと概念の間に1対1の相関関係を形成する。
単調性探索の広範な研究にもかかわらず、単調性がモデル能力に有益か有害かは定かではない。
論文 参考訳（メタデータ） (2024-06-25T22:51:08Z) - Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。
エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。
ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文 参考訳（メタデータ） (2024-06-24T01:31:03Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳（メタデータ） (2023-10-31T20:17:32Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language
Understanding [82.46024259137823]
幅広いタスクに対するクロスモデル比較損失を提案する。
3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
論文 参考訳（メタデータ） (2023-01-10T03:04:27Z) - Engineering Monosemanticity in Toy Models [0.1474723404975345]
一部のニューラルネットワークでは、個々のニューロンは入力中の「自然な特徴」に対応する。
トレーニングプロセスが求める局所的な最小限を変更するだけで、損失を増大させることなく、モデルをより単調にすることができることが分かりました。
我々は、残留する多節性ニューロンを含むこれらのモデルを機械的に解釈し、単純だが驚くべきアルゴリズムを明らかにすることができる。
論文 参考訳（メタデータ） (2022-11-16T19:32:43Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - One Neuron to Fool Them All [12.107259467873094]
我々は、そのニューロンの出力の直接摂動に対するモデル出力の頑健さの観点から、個々のニューロンの感度を評価する。
単一感受性ニューロンのみを標的とする損失関数を用いた攻撃は、完全なモデルをターゲットにしたものと同じくらい効果的に敵の例を見つける。
論文 参考訳（メタデータ） (2020-03-20T16:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。