論文の概要: Neuron-level Interpretation of Deep NLP Models: A Survey

• arxiv url: http://arxiv.org/abs/2108.13138v1
• Date: Mon, 30 Aug 2021 11:54:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 18:33:52.360452
• Title: Neuron-level Interpretation of Deep NLP Models: A Survey
• Title（参考訳）: 深部NLPモデルのニューロンレベルでの解釈:サーベイ
• Authors: Hassan Sajjad and Nadir Durrani and Fahim Dalvi
• Abstract要約: ディープニューラルネットワークモデルのコンポーネントを分析し、理解するために、数多くの研究がなされている。 最近の研究は、より粒度の細かいレベルでの解釈可能性に集中し、大きなモデルでニューロンとニューロンのグループを分析している。
• 参考スコア（独自算出の注目度）: 22.035813865470956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The proliferation of deep neural networks in various domains has seen an increased need for interpretability of these methods. A plethora of research has been carried out to analyze and understand components of the deep neural network models. Preliminary work done along these lines and papers that surveyed such, were focused on a more high-level representation analysis. However, a recent branch of work has concentrated on interpretability at a more granular level, analyzing neurons and groups of neurons in these large models. In this paper, we survey work done on fine-grained neuron analysis including: i) methods developed to discover and understand neurons in a network, ii) their limitations and evaluation, iii) major findings including cross architectural comparison that such analyses unravel and iv) direct applications of neuron analysis such as model behavior control and domain adaptation along with potential directions for future work.
• Abstract（参考訳）: 様々な領域におけるディープニューラルネットワークの増殖は、これらの手法の解釈可能性の必要性が高まっている。 深層ニューラルネットワークモデルの構成要素を解析し、理解するための研究が数多く行われている。 このようなラインや論文に沿って行われた予備的な作業は、よりハイレベルな表現分析に焦点が当てられた。 しかし、最近の研究は、より粒度の細かいレベルで解釈可能性に集中し、これらの大きなモデルでニューロンとニューロンのグループを分析する。 本稿では, ネットワーク内のニューロンの発見と理解のために開発された手法, ii) 限界と評価, iii) クロスアーキテクチャ比較を含む主要な知見として, モデル行動制御やドメイン適応といったニューロン解析の直接的応用, 今後の研究への可能性について検討した。

関連論文リスト

• Statistical tuning of artificial neural network [0.0]
  本研究では、ニューラルネットワークの理解を強化する方法を紹介し、特に1つの隠蔽層を持つモデルに焦点を当てる。 本稿では,入力ニューロンの意義を統計的に評価し,次元減少のためのアルゴリズムを提案する。 この研究は、ニューラルネットワークを解釈するための堅牢な統計フレームワークを提示することにより、説明可能な人工知能の分野を前進させる。
  論文  参考訳（メタデータ） (2024-09-24T19:47:03Z)
• Graph Neural Networks for Brain Graph Learning: A Survey [53.74244221027981]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データのマイニングにおいて大きな優位性を示している。 脳障害解析のための脳グラフ表現を学習するGNNが最近注目を集めている。 本稿では,GNNを利用した脳グラフ学習の成果をレビューすることで,このギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-06-01T02:47:39Z)
• Probing Biological and Artificial Neural Networks with Task-dependent Neural Manifolds [12.037840490243603]
  本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。 学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。 これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
  論文  参考訳（メタデータ） (2023-12-21T20:40:51Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
  最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。 視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。 我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
  論文  参考訳（メタデータ） (2023-10-31T20:17:32Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Fine-grained Interpretation and Causation Analysis in Deep NLP Models [20.425855491229147]
  本稿では,モデルの細粒度成分を2つの観点から解釈する研究成果について論じる。 前者は、言語特性またはタスクに関する個々のニューロンおよびニューロンのグループを分析する方法を紹介します。 後者はモデルによってなされる決定を説明するのにニューロンおよび入力の特徴の役割を研究します。
  論文  参考訳（メタデータ） (2021-05-17T17:43:36Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。