論文の概要: Discovering Chunks in Neural Embeddings for Interpretability

• arxiv url: http://arxiv.org/abs/2502.01803v1
• Date: Mon, 03 Feb 2025 20:30:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:02:49.816683
• Title: Discovering Chunks in Neural Embeddings for Interpretability
• Title（参考訳）: ニューラルネットワークによる解釈性向上のためのチャンクの発見
• Authors: Shuchen Wu, Stephan Alaniz, Eric Schulz, Zeynep Akata,
• Abstract要約: 本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
• 参考スコア（独自算出の注目度）: 53.80157905839065
• License:
• Abstract: Understanding neural networks is challenging due to their high-dimensional, interacting components. Inspired by human cognition, which processes complex sensory data by chunking it into recurring entities, we propose leveraging this principle to interpret artificial neural population activities. Biological and artificial intelligence share the challenge of learning from structured, naturalistic data, and we hypothesize that the cognitive mechanism of chunking can provide insights into artificial systems. We first demonstrate this concept in recurrent neural networks (RNNs) trained on artificial sequences with imposed regularities, observing that their hidden states reflect these patterns, which can be extracted as a dictionary of chunks that influence network responses. Extending this to large language models (LLMs) like LLaMA, we identify similar recurring embedding states corresponding to concepts in the input, with perturbations to these states activating or inhibiting the associated concepts. By exploring methods to extract dictionaries of identifiable chunks across neural embeddings of varying complexity, our findings introduce a new framework for interpreting neural networks, framing their population activity as structured reflections of the data they process.
• Abstract（参考訳）: ニューラルネットワークを理解することは、その高次元の相互作用コンポーネントのために難しい。 人間の認知に触発されて、複雑な感覚データを繰り返し実体に分解することで処理し、この原理を利用して人工神経集団活動の解釈を行う。 生物学的および人工知能は、構造化された自然主義的なデータから学ぶことの難しさを共有し、チャンキングの認知メカニズムが人工システムに洞察を与えることができると仮定する。 この概念をまず、ニューラルネットワーク(RNN)で実証し、それらの隠れた状態がこれらのパターンを反映していることを観察し、ネットワーク応答に影響を与えるチャンクの辞書として抽出する。 LLaMAのような大規模言語モデル(LLM)に拡張することで、入力の概念に対応する同様の繰り返し埋め込み状態が特定され、関連する概念を活性化または阻害する。 複雑度の異なるニューラルネットワーク埋め込みにまたがって、識別可能なチャンクの辞書を抽出する方法を探索することにより、ニューラルネットワークを解釈するための新しい枠組みを導入し、その集団の活動を、処理するデータの構造化されたリフレクションとしてフレーミングする。

関連論文リスト

• Statistical tuning of artificial neural network [0.0]
  本研究では、ニューラルネットワークの理解を強化する方法を紹介し、特に1つの隠蔽層を持つモデルに焦点を当てる。 本稿では,入力ニューロンの意義を統計的に評価し,次元減少のためのアルゴリズムを提案する。 この研究は、ニューラルネットワークを解釈するための堅牢な統計フレームワークを提示することにより、説明可能な人工知能の分野を前進させる。
  論文  参考訳（メタデータ） (2024-09-24T19:47:03Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Spiking representation learning for associative memories [0.0]
  本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。 モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-06-05T08:30:11Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Ensembling complex network 'perspectives' for mild cognitive impairment detection with artificial neural networks [5.194561180498554]
  本研究では,複合ネットワークとニューラルネットワークのパラダイムを共同利用した軽度の認知障害検出手法を提案する。 特に、この手法は、異なる脳構造「パースペクティブ」を人工ニューラルネットワークでアンサンブルすることに基づいている。
  論文  参考訳（メタデータ） (2021-01-26T08:38:11Z)
• Complexity for deep neural networks and other characteristics of deep feature representations [0.0]
  ニューラルネットワークの計算の非線形性を定量化する複雑性の概念を定義する。 トレーニング対象ネットワークとトレーニング対象ネットワークの動的特性の両面から,これらのオブザーバブルについて検討する。
  論文  参考訳（メタデータ） (2020-06-08T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。