論文の概要: Redundancy and Concept Analysis for Code-trained Language Models
- arxiv url: http://arxiv.org/abs/2305.00875v2
- Date: Fri, 16 Feb 2024 04:21:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 21:08:39.116379
- Title: Redundancy and Concept Analysis for Code-trained Language Models
- Title（参考訳）: 符号学習言語モデルの冗長性と概念解析
- Authors: Arushi Sharma, Zefu Hu, Christopher Quinn, Ali Jannesari
- Abstract要約: コード学習言語モデルは、様々なコードインテリジェンスタスクに非常に効果的であることが証明されている。
計算ボトルネックとメモリ制約のため、多くのソフトウェアエンジニアリングアプリケーションのトレーニングとデプロイが難しい場合がある。
我々は,ソースコードモデルに対する最初のニューロンレベルの解析を行い,潜在表現内でのテクスチエントニューロンの同定を行う。
- 参考スコア（独自算出の注目度）: 5.726842555987591
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Code-trained language models have proven to be highly effective for various
code intelligence tasks. However, they can be challenging to train and deploy
for many software engineering applications due to computational bottlenecks and
memory constraints. Implementing effective strategies to address these issues
requires a better understanding of these 'black box' models. In this paper, we
perform the first neuron-level analysis for source code models to identify
\textit{important} neurons within latent representations. We achieve this by
eliminating neurons that are highly similar or irrelevant to the given task.
This approach helps us understand which neurons and layers can be eliminated
(redundancy analysis) and where important code properties are located within
the network (concept analysis). Using redundancy analysis, we make observations
relevant to knowledge transfer and model optimization applications. We find
that over 95\% of the neurons are redundant with respect to our code
intelligence tasks and can be eliminated without significant loss in accuracy.
We also discover several subsets of neurons that can make predictions with
baseline accuracy. Through concept analysis, we explore the traceability and
distribution of human-recognizable concepts within latent code representations
which could be used to influence model predictions. We trace individual and
subsets of important neurons to specific code properties and identify 'number'
neurons, 'string' neurons, and higher-level 'text' neurons for token-level
tasks and higher-level concepts important for sentence-level downstream tasks.
This also helps us understand how decomposable and transferable task-related
features are and can help devise better techniques for transfer learning, model
compression, and the decomposition of deep neural networks into modules.
- Abstract（参考訳）: コード学習言語モデルは、様々なコードインテリジェンスタスクに非常に効果的であることが証明されている。
しかし、計算のボトルネックとメモリの制約のため、多くのソフトウェアエンジニアリングアプリケーションのトレーニングとデプロイが難しい場合がある。
これらの問題に対処する効果的な戦略を実装するには、これらの「ブラックボックス」モデルの理解を深める必要がある。
本稿では,ソースコードモデルにおいて,潜在表現の中で<textit{ important}ニューロンを識別する最初のニューロンレベル解析を行う。
我々は、与えられたタスクと非常に類似または無関係なニューロンを排除することにより、これを達成する。
このアプローチは、どのニューロンやレイヤを排除できるか(冗長解析)、重要なコード特性がネットワーク内にあるのか(概念解析)を理解するのに役立ちます。
冗長性分析を用いて,知識伝達およびモデル最適化アプリケーションに関する観測を行う。
コードインテリジェンスタスクに関して、95%以上のニューロンが冗長であり、精度を損なうことなく排除できることがわかった。
また、ベースライン精度で予測できるニューロンのいくつかのサブセットも発見する。
概念分析を通じて、モデル予測に影響を与えるのに使用できる潜在コード表現における人間の認識可能な概念のトレーサビリティと分布について検討する。
我々は、重要なニューロンの個別およびサブセットを特定のコード特性に追跡し、トークンレベルタスクのための「番号」ニューロン、「ストリング」ニューロン、高レベルな「テキスト」ニューロン、および文レベル下流タスクにとって重要な高レベルな概念を同定する。
これはまた、分解可能で転送可能なタスク関連機能がどのようにあるかを理解するのに役立ち、学習、モデル圧縮、深層ニューラルネットワークをモジュールに分解するより良いテクニックを考案するのに役立つ。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Investigating the Encoding of Words in BERT's Neurons using Feature
Textualization [11.943486282441143]
本稿では,埋め込み語空間におけるニューロンの表現を生成する手法を提案する。
生成した表現は、個々のニューロンにおける符号化された知識についての洞察を与えることができる。
論文 参考訳（メタデータ） (2023-11-14T15:21:49Z) - Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-17T17:41:28Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳（メタデータ） (2023-10-16T17:04:51Z) - Implementing engrams from a machine learning perspective: matching for
prediction [0.0]
ニューラルネットワークを用いてエングラムを実装するコンピュータシステムを設計する方法について提案する。
オートエンコーダをベースとして,情報を圧縮形式で保存・検索するためのインデックスとして潜時ニューラルネットワークを提案する。
我々は、異なるタイプの感覚入力に対応する潜時神経空間における異なる状態が同期活性化によってどのようにリンクされるかを検討する。
論文 参考訳（メタデータ） (2023-03-01T10:05:40Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。