論文の概要: Emergence Learning: A Rising Direction from Emergent Abilities and a
Monosemanticity-Based Study
- arxiv url: http://arxiv.org/abs/2312.11560v1
- Date: Sun, 17 Dec 2023 14:42:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 18:33:59.798208
- Title: Emergence Learning: A Rising Direction from Emergent Abilities and a
Monosemanticity-Based Study
- Title（参考訳）: 創発学習:創発能力の上昇方向と単意味性に基づく研究
- Authors: Jiachuan Wang, Shimin Di, Lei Chen, Charles Wang Wai Ng
- Abstract要約: 本稿では,スケールの重要性を重視した創発的学習の概念を提案する。
異なるスケールのモデルを研究することで、大きなモデルにおいて高い性能を達成するための重要な要因を特定できた。
我々の解法は、理論解析によって支持される単節性ニューロンの検出と抑制を含む2段階のプロセスを含む。
- 参考スコア（独自算出の注目度）: 11.350847560109829
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the past 20 years, artificial neural networks have become dominant in
various areas, continually growing in scale. However, the current analysis of
large models has mainly focused on functionality, overlooking the influence of
scale differences on their properties. To address this, we propose the concept
of Emergence Learning, which emphasizes the significance of scale. By studying
models of different scales, we have identified a key factor in achieving higher
performance in large models: the decrease of monosemantic neurons. Building on
this insight, we propose a proactive approach to inhibit monosemanticity for
improved performance. Our solution involves a two-phase process that includes
monosemantic neuron detection and inhibition, supported by theoretical
analysis. Experimental results on various tasks and neural networks demonstrate
the effectiveness of our proposed method.
Following the idea of Emergence Learning, though drawing inspiration from
scaling phenomena, the applicability of our method is not restricted to large
scale alone. Therefore, the experiment is self-contained. However, extending
this research to very large-scale datasets is appealing yet impossible for
research departments due to limited resources. We are delighted to share the
first co-authorship and eagerly await collaboration from any AI company before
submission.
- Abstract（参考訳）: 過去20年間で、ニューラルネットワークはさまざまな領域で支配的になり、規模を拡大している。
しかし、現在の大規模モデルの分析は主に機能に焦点を当てており、その特性に対するスケール差の影響を軽視している。
そこで本稿では,スケールの重要性を強調する創発学習の概念を提案する。
異なるスケールのモデルを研究することで、大きなモデルにおいて高い性能を達成するための重要な要因を特定できた。
この知見に基づいて,性能向上のための一様性抑制のための積極的なアプローチを提案する。
本ソリューションは,理論解析によって支持される単発ニューロンの検出と抑制を含む2相プロセスを含む。
様々なタスクやニューラルネットワークの実験結果から,提案手法の有効性が示された。
創発学習の考え方に従い,スケーリング現象から着想を得たが,本手法の適用性は大規模に限定するものではない。
したがって、実験は自己完結である。
しかし、この研究を非常に大規模なデータセットに拡張することは、限られた資源のために研究部門にとって魅力的である。
私たちは、最初の共著者を共有し、提出前にあらゆるai企業からの協力を熱心に待ち望んでいます。
関連論文リスト
- Beyond Interpretability: The Gains of Feature Monosemanticity on Model Robustness [68.69369585600698]
ディープラーニングモデルは多意味性による解釈可能性の欠如に悩まされることが多い。
神経細胞が一貫したセマンティクスと異なるセマンティクスに対応するモノセマンティクスの最近の進歩は、解釈可能性を大幅に改善した。
モノセマンティックな特徴は解釈可能性を高めるだけでなく、モデル性能の具体的な向上をもたらすことを示す。
論文 参考訳（メタデータ） (2024-10-27T18:03:20Z) - Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。
我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。
我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
論文 参考訳（メタデータ） (2024-10-08T17:41:37Z) - Encourage or Inhibit Monosemanticity? Revisit Monosemanticity from a Feature Decorrelation Perspective [30.290777756014748]
単意味ニューロンは単一の概念と特定の概念に特化しており、ニューロンと概念の間に1対1の相関関係を形成する。
単調性探索の広範な研究にもかかわらず、単調性がモデル能力に有益か有害かは定かではない。
論文 参考訳（メタデータ） (2024-06-25T22:51:08Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳（メタデータ） (2023-10-31T20:17:32Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language
Understanding [82.46024259137823]
幅広いタスクに対するクロスモデル比較損失を提案する。
3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
論文 参考訳（メタデータ） (2023-01-10T03:04:27Z) - Engineering Monosemanticity in Toy Models [0.1474723404975345]
一部のニューラルネットワークでは、個々のニューロンは入力中の「自然な特徴」に対応する。
トレーニングプロセスが求める局所的な最小限を変更するだけで、損失を増大させることなく、モデルをより単調にすることができることが分かりました。
我々は、残留する多節性ニューロンを含むこれらのモデルを機械的に解釈し、単純だが驚くべきアルゴリズムを明らかにすることができる。
論文 参考訳（メタデータ） (2022-11-16T19:32:43Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - One Neuron to Fool Them All [12.107259467873094]
我々は、そのニューロンの出力の直接摂動に対するモデル出力の頑健さの観点から、個々のニューロンの感度を評価する。
単一感受性ニューロンのみを標的とする損失関数を用いた攻撃は、完全なモデルをターゲットにしたものと同じくらい効果的に敵の例を見つける。
論文 参考訳（メタデータ） (2020-03-20T16:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。