論文の概要: Learning from Emergence: A Study on Proactively Inhibiting the
Monosemantic Neurons of Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2312.11560v2
- Date: Thu, 15 Feb 2024 00:49:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 18:57:05.237053
- Title: Learning from Emergence: A Study on Proactively Inhibiting the
Monosemantic Neurons of Artificial Neural Networks
- Title（参考訳）: 創発から学ぶ:ニューラルネットワークのモノセマンティックニューロンを積極的に阻害する研究
- Authors: Jiachuan Wang, Shimin Di, Lei Chen, Charles Wang Wai Ng
- Abstract要約: オンライン計算の効率性を保証するため,ニューロンのモノセマンティリティを測定するための新しい指標を提案する。
モノセマンティリティが異なるモデルスケールで性能変化をもたらすという予想を検証する。
- 参考スコア（独自算出の注目度）: 11.350847560109829
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, emergence has received widespread attention from the research
community along with the success of large language models. Different from the
literature, we hypothesize a key factor that highly promotes the performance
during the increase of scale: the reduction of monosemantic neurons that can
only form one-to-one correlations with specific features. Monosemantic neurons
tend to be sparser and have negative impacts on the performance in large
models. Inspired by this insight, we propose an intuitive idea to identify
monosemantic neurons and inhibit them. However, achieving this goal is a
non-trivial task as there is no unified quantitative evaluation metric and
simply banning monosemantic neurons does not promote polysemanticity in neural
networks. Therefore, we propose to learn from emergence and present a study on
proactively inhibiting the monosemantic neurons in this paper. More
specifically, we first propose a new metric to measure the monosemanticity of
neurons with the guarantee of efficiency for online computation, then introduce
a theoretically supported method to suppress monosemantic neurons and
proactively promote the ratios of polysemantic neurons in training neural
networks. We validate our conjecture that monosemanticity brings about
performance change at different model scales on a variety of neural networks
and benchmark datasets in different areas, including language, image, and
physics simulation tasks. Further experiments validate our analysis and theory
regarding the inhibition of monosemanticity.
- Abstract（参考訳）: 近年,大規模な言語モデルの成功とともに,研究コミュニティから注目が集まっている。
文献と異なり、私たちは、スケールの増大中に高いパフォーマンスを促進する重要な要因、すなわち、特定の特徴と1対1の相関しか形成できない単性ニューロンの削減を仮定する。
単発ニューロンはスパーサーであり、大きなモデルの性能に悪影響を及ぼす。
この知見に触発されて,単節ニューロンを同定し,抑制する直感的なアイデアを提案する。
しかし、この目標を達成することは非自明な作業であり、統一的な定量的評価基準はなく、単神性ニューロンの禁止はニューラルネットワークの多神性を促進するものではない。
そこで本論文では,出現から学習し,単節性ニューロンを積極的に抑制する研究を提案する。
より具体的には、まず、オンライン計算の効率性を保証するために、ニューロンの単神性を測定するための新しい指標を提案し、その後、理論的に支持された単神性ニューロンを抑圧し、ニューラルネットワークのトレーニングにおいて多神性ニューロンの比率を積極的に促進する手法を導入する。
モノセマンティリティは、言語、画像、物理シミュレーションタスクを含むさまざまな分野のさまざまなニューラルネットワークやベンチマークデータセットにおいて、さまざまなモデルスケールのパフォーマンス変化をもたらすという予想を検証する。
さらなる実験により,モノセマンティクスの抑制に関する解析と理論が検証された。
関連論文リスト
- Beyond Interpretability: The Gains of Feature Monosemanticity on Model Robustness [68.69369585600698]
ディープラーニングモデルは多意味性による解釈可能性の欠如に悩まされることが多い。
神経細胞が一貫したセマンティクスと異なるセマンティクスに対応するモノセマンティクスの最近の進歩は、解釈可能性を大幅に改善した。
モノセマンティックな特徴は解釈可能性を高めるだけでなく、モデル性能の具体的な向上をもたらすことを示す。
論文 参考訳（メタデータ） (2024-10-27T18:03:20Z) - Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。
我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。
我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
論文 参考訳（メタデータ） (2024-10-08T17:41:37Z) - Encourage or Inhibit Monosemanticity? Revisit Monosemanticity from a Feature Decorrelation Perspective [30.290777756014748]
単意味ニューロンは単一の概念と特定の概念に特化しており、ニューロンと概念の間に1対1の相関関係を形成する。
単調性探索の広範な研究にもかかわらず、単調性がモデル能力に有益か有害かは定かではない。
論文 参考訳（メタデータ） (2024-06-25T22:51:08Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳（メタデータ） (2023-10-31T20:17:32Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language
Understanding [82.46024259137823]
幅広いタスクに対するクロスモデル比較損失を提案する。
3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
論文 参考訳（メタデータ） (2023-01-10T03:04:27Z) - Engineering Monosemanticity in Toy Models [0.1474723404975345]
一部のニューラルネットワークでは、個々のニューロンは入力中の「自然な特徴」に対応する。
トレーニングプロセスが求める局所的な最小限を変更するだけで、損失を増大させることなく、モデルをより単調にすることができることが分かりました。
我々は、残留する多節性ニューロンを含むこれらのモデルを機械的に解釈し、単純だが驚くべきアルゴリズムを明らかにすることができる。
論文 参考訳（メタデータ） (2022-11-16T19:32:43Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - One Neuron to Fool Them All [12.107259467873094]
我々は、そのニューロンの出力の直接摂動に対するモデル出力の頑健さの観点から、個々のニューロンの感度を評価する。
単一感受性ニューロンのみを標的とする損失関数を用いた攻撃は、完全なモデルをターゲットにしたものと同じくらい効果的に敵の例を見つける。
論文 参考訳（メタデータ） (2020-03-20T16:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。