論文の概要: Interpreting Pretrained Source-code Models using Neuron Redundancy Analyses

• arxiv url: http://arxiv.org/abs/2305.00875v1
• Date: Mon, 1 May 2023 15:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 13:06:02.568899
• Title: Interpreting Pretrained Source-code Models using Neuron Redundancy Analyses
• Title（参考訳）: ニューロン冗長解析を用いた事前学習ソースコードモデルの解釈
• Authors: Arushi Sharma, Zefu Hu, Christopher Quinn, Ali Jannesari
• Abstract要約: ニューラルコードインテリジェンスモデルの解釈可能性に対するニューロンレベルのアプローチを導入する。 95%以上のニューロンは冗長であり、コードインテリジェンスタスクです。 重要なニューロンの個々のサブセットを、モデル予測に影響を与えるために使用できる特定のコード特性にトレースする。
• 参考スコア（独自算出の注目度）: 0.726437825413781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural code intelligence models continue to be 'black boxes' to the human programmer. This opacity limits their application towards code intelligence tasks, particularly for applications like vulnerability detection where a model's reliance on spurious correlations can be safety-critical. We introduce a neuron-level approach to interpretability of neural code intelligence models which eliminates redundancy due to highly similar or task-irrelevant neurons within these networks. We evaluate the remaining important neurons using probing classifiers which are often used to ascertain whether certain properties have been encoded within the latent representations of neural intelligence models. However, probing accuracies may be artificially inflated due to repetitive and deterministic nature of tokens in code datasets. Therefore, we adapt the selectivity metric originally introduced in NLP to account for probe memorization, to formulate our source-code probing tasks. Through our neuron analysis, we find that more than 95\% of the neurons are redundant wrt. our code intelligence tasks and can be eliminated without significant loss in accuracy. We further trace individual and subsets of important neurons to specific code properties which could be used to influence model predictions. We demonstrate that it is possible to identify 'number' neurons, 'string' neurons, and higher level 'text' neurons which are responsible for specific code properties. This could potentially be used to modify neurons responsible for predictions based on incorrect signals. Additionally, the distribution and concentration of the important neurons within different source code embeddings can be used as measures of task complexity, to compare source-code embeddings and guide training choices for transfer learning over similar tasks.
• Abstract（参考訳）: ニューラルコードインテリジェンスモデルは、引き続き人間のプログラマにとって「ブラックボックス」である。 この不透明さは、特に、モデルが素早い相関に依存している脆弱性検出のようなアプリケーションにおいて、コードインテリジェンスタスクへのアプリケーションを制限する。 そこで本研究では,ニューロンレベルでのニューラル・コード・インテリジェンス・モデルの解釈可能性について紹介する。 我々は、ニューラルネットワークモデルの潜在表現に特定の特性がエンコードされているかどうかを確認するためにしばしば使用されるプローブ分類器を用いて、残りの重要なニューロンを評価する。 しかし、コードデータセットにおけるトークンの反復的かつ決定論的性質のために、予測精度は人工的に膨らむことがある。 そこで我々は,NLPで最初に導入された選択度基準をプローブ記憶法に適応させ,ソースコード探索タスクを定式化する。 ニューロン分析の結果、神経細胞の95%以上は冗長であることがわかった。 私たちのコードインテリジェンスタスクは、精度を損なうことなく排除できます。 さらに、重要なニューロンの個別およびサブセットを特定のコード特性に追跡し、モデル予測に影響を与える可能性がある。 我々は、特定のコード特性に責任を持つ「数」ニューロン、「ストリング」ニューロン、より高いレベルの「テキスト」ニューロンを識別できることを実証する。 これは、誤った信号に基づく予測に責任を持つニューロンを修正するために使われる可能性がある。 さらに、異なるソースコード組込み内の重要なニューロンの分布と集中は、タスクの複雑さの測定、ソースコード組込みの比較、および類似したタスクに対するトランスファー学習のためのトレーニング選択のガイドとして使用できる。

関連論文リスト

• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Investigating the Encoding of Words in BERT's Neurons using Feature Textualization [11.943486282441143]
  本稿では,埋め込み語空間におけるニューロンの表現を生成する手法を提案する。 生成した表現は、個々のニューロンにおける符号化された知識についての洞察を与えることができる。
  論文  参考訳（メタデータ） (2023-11-14T15:21:49Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• Implementing engrams from a machine learning perspective: matching for prediction [0.0]
  ニューラルネットワークを用いてエングラムを実装するコンピュータシステムを設計する方法について提案する。 オートエンコーダをベースとして,情報を圧縮形式で保存・検索するためのインデックスとして潜時ニューラルネットワークを提案する。 我々は、異なるタイプの感覚入力に対応する潜時神経空間における異なる状態が同期活性化によってどのようにリンクされるかを検討する。
  論文  参考訳（メタデータ） (2023-03-01T10:05:40Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。