論文の概要: Intra-neuronal attention within language models Relationships between activation and semantics

• arxiv url: http://arxiv.org/abs/2503.12992v1
• Date: Mon, 17 Mar 2025 09:47:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:34:48.018610
• Title: Intra-neuronal attention within language models Relationships between activation and semantics
• Title（参考訳）: 言語モデルにおけるニューロン内注意 : アクティベーションとセマンティクスの関係
• Authors: Michael Pichat, William Pogrund, Paloma Pichat, Armanouche Gasparian, Samuel Demarchi, Corbet Alois Georgeon, Michael Veillet-Guillem,
• Abstract要約: 本研究では,言語モデルにおけるパーセプトロン型ニューロンの神経内注意機能について検討した。 この研究の目的は、形式ニューロンがアクティベーションベースのセグメンテーションとカテゴリー的なセグメンテーションの同型関係をどの程度確立できるかを決定することである。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study investigates the ability of perceptron-type neurons in language models to perform intra-neuronal attention; that is, to identify different homogeneous categorical segments within the synthetic thought category they encode, based on a segmentation of specific activation zones for the tokens to which they are particularly responsive. The objective of this work is therefore to determine to what extent formal neurons can establish a homomorphic relationship between activation-based and categorical segmentations. The results suggest the existence of such a relationship, albeit tenuous, only at the level of tokens with very high activation levels. This intra-neuronal attention subsequently enables categorical restructuring processes at the level of neurons in the following layer, thereby contributing to the progressive formation of high-level categorical abstractions.
• Abstract（参考訳）: 本研究では,言語モデルにおけるパーセプトロン型ニューロンの神経内注意機能について検討し,特に反応するトークンに対する特定のアクティベーションゾーンのセグメンテーションに基づいて,それらがコードする合成思考カテゴリ内の異なる均質なカテゴリーを同定する。 この研究の目的は、形式ニューロンがアクティベーションベースのセグメンテーションとカテゴリー的なセグメンテーションの同型関係をどの程度確立できるかを決定することである。 その結果、非常に高いアクティベーションレベルを持つトークンのレベルでのみ、このような関係が存在することが示唆された。 この神経内注意は、その後、次の層のニューロンのレベルでの分類的再構成プロセスを可能にし、高レベルの分類的抽象化の進行に寄与する。

関連論文リスト

• Towards Utilising a Range of Neural Activations for Comprehending Representational Associations [0.6554326244334868]
  ディープニューラルネットワークにおける中間表現をラベル付けするアプローチでは,その振る舞いに関する貴重な情報を捕捉できないことを示す。 非極端レベルのアクティベーションには、調査する価値のある複雑な情報が含まれていると仮定する。 そこで本研究では,中間領域のロジットサンプルから得られたデータを用いて,スプリアス相関を緩和する手法を開発した。
  論文  参考訳（メタデータ） (2024-11-15T07:54:14Z)
• Neuropsychology and Explainability of AI: A Distributional Approach to the Relationship Between Activation Similarity of Neural Categories in Synthetic Cognition [0.11235145048383502]
  本稿では,人間の認知トークンの概念を応用した,人工ニューラルネットワークの説明可能性へのアプローチを提案する。 ニューロンが生成するカテゴリセグメントは、実際には入力ベクトル空間内のカテゴリサブ次元の重ね合わせの結果であることを示す。
  論文  参考訳（メタデータ） (2024-10-23T05:27:09Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• CREIMBO: Cross-Regional Ensemble Interactions in Multi-view Brain Observations [3.3713037259290255]
  現在の分析手法は、しばしばそのようなデータの豊かさを活かさない。 CREIMBOは、グラフ駆動辞書学習を通じて、セッションごとのニューラルアンサンブルの隠れた構成を特定する。 合成データ中の真の成分を回収するCREIMBOの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-27T17:48:32Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Astrocytes as a mechanism for meta-plasticity and contextually-guided network function [2.66269503676104]
  アストロサイトは、ユビキタスでエニグマティックな非神経細胞である。 アストロサイトは脳機能や神経計算においてより直接的で活発な役割を果たす。
  論文  参考訳（メタデータ） (2023-11-06T20:31:01Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Identifying stimulus-driven neural activity patterns in multi-patient intracranial recordings [0.26651200086513094]
  刺激駆動型神経活動パターンの同定は、認知の神経基盤を研究する上で重要である。 第1章では、一般的な場合における刺激駆動型神経活動パターンの同定に関する主な課題について概説する。 マルチ患者頭蓋内記録における刺激駆動型神経活動パターンの同定とモデル化には,様々な物体内および物体間アプローチを検討する。
  論文  参考訳（メタデータ） (2022-02-04T01:29:57Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。