論文の概要: Polysemy of Synthetic Neurons Towards a New Type of Explanatory Categorical Vector Spaces

• arxiv url: http://arxiv.org/abs/2505.07831v1
• Date: Wed, 30 Apr 2025 12:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-18 22:55:23.178269
• Title: Polysemy of Synthetic Neurons Towards a New Type of Explanatory Categorical Vector Spaces
• Title（参考訳）: 新しい説明的カテゴリーベクトル空間への合成ニューロンの多義性
• Authors: Michael Pichat, William Pogrund, Paloma Pichat, Judicael Poumay, Armanouche Gasparian, Samuel Demarchi, Martin Corbet, Alois Georgeon, Michael Veillet-Guillem,
• Abstract要約: 我々は、n層内のニューロンを非直交基底を持つカテゴリーベクトル空間として幾何学的に定義し、n-1層で前のニューロンから抽出されたカテゴリーサブ次元からなる。 このカテゴリーベクトル空間は、各ニューロンの活性化空間によって構成され、ニューロン内の注意プロセスを通じて、言語モデルの効率性のために臨界カテゴリーゾーンの識別と利用を可能にする。
• 参考スコア（独自算出の注目度）: 0.11608974088441382
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The polysemantic nature of synthetic neurons in artificial intelligence language models is currently understood as the result of a necessary superposition of distributed features within the latent space. We propose an alternative approach, geometrically defining a neuron in layer n as a categorical vector space with a non-orthogonal basis, composed of categorical sub-dimensions extracted from preceding neurons in layer n-1. This categorical vector space is structured by the activation space of each neuron and enables, via an intra-neuronal attention process, the identification and utilization of a critical categorical zone for the efficiency of the language model - more homogeneous and located at the intersection of these different categorical sub-dimensions.
• Abstract（参考訳）: 人工知能言語モデルにおける合成ニューロンの多意味性は、現在、潜在空間における分散特徴の重ね合わせの結果として理解されている。 我々は,n層内のニューロンを非直交基底のカテゴリーベクトル空間として幾何学的に定義する別のアプローチを提案する。 このカテゴリーベクトル空間は、各ニューロンの活性化空間によって構成され、ニューロン内の注意プロセスを通じて、言語モデルの効率性(より均一で、これらの異なるカテゴリーのサブ次元の交差点に位置する)のために臨界カテゴリーゾーンの同定と利用を可能にする。

関連論文リスト

• Intra-neuronal attention within language models Relationships between activation and semantics [0.0]
  本研究では,言語モデルにおけるパーセプトロン型ニューロンの神経内注意機能について検討した。 この研究の目的は、形式ニューロンがアクティベーションベースのセグメンテーションとカテゴリー的なセグメンテーションの同型関係をどの程度確立できるかを決定することである。
  論文  参考訳（メタデータ） (2025-03-17T09:47:11Z)
• Neuron Platonic Intrinsic Representation From Dynamics Using Contrastive Learning [4.538151592901714]
  我々はNeurPIR(Neuron Platonic Intrinsic Representation)フレームワークを提案する。 対照的な学習を使用し、正の対と同じニューロンのセグメントと、負の対である異なるニューロンのセグメントを持つ。 我々はIzhikevichモデルを用いた神経集団動態データを用いて実験を行った。
  論文  参考訳（メタデータ） (2025-02-06T02:22:23Z)
• The Process of Categorical Clipping at the Core of the Genesis of Concepts in Synthetic Neural Cognition [0.0]
  本稿では,人工知能の神経心理学分野において,言語モデルによる分類的セグメンテーションの過程について考察する。 このプロセスは、異なるニューラルネットワーク層にまたがって、入力されたテキストデータを解析し、必要なタスクを実行するための、新しい機能的分類次元の作成を含む。 この合成クリッピングの認知的特徴を探索的に検討する。
  論文  参考訳（メタデータ） (2025-01-21T11:32:39Z)
• Neuropsychology and Explainability of AI: A Distributional Approach to the Relationship Between Activation Similarity of Neural Categories in Synthetic Cognition [0.11235145048383502]
  本稿では,人間の認知トークンの概念を応用した,人工ニューラルネットワークの説明可能性へのアプローチを提案する。 ニューロンが生成するカテゴリセグメントは、実際には入力ベクトル空間内のカテゴリサブ次元の重ね合わせの結果であることを示す。
  論文  参考訳（メタデータ） (2024-10-23T05:27:09Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
  ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。 提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
  論文  参考訳（メタデータ） (2021-12-23T12:17:47Z)
• Modeling Category-Selective Cortical Regions with Topographic Variational Autoencoders [72.15087604017441]
  カテゴリー選択性(英: Category-Selectivity)は、大脳皮質の特定の空間的局所化領域が特定の限られたカテゴリーからの刺激に対して頑健かつ選択的に反応する傾向にあるという観察を記述している。 新たに導入されたTopographic Variational Autoencoderを利用して、そのような局所化カテゴリ選択性の出現を教師なしでモデル化する。 本研究では,ヒト腹側頭皮質の観察に類似した,より抽象的なカテゴリのネストされた空間的階層が得られたことを示す予備的な結果を示す。
  論文  参考訳（メタデータ） (2021-10-25T11:37:41Z)
• Complexity-based speciation and genotype representation for neuroevolution [81.21462458089142]
  本稿では、進化するネットワークを隠されたニューロンの数に基づいて種に分類する神経進化の種分化原理を提案する。 提案された種分化原理は、種および生態系全体における多様性の促進と保存を目的として設計されたいくつかの技術で採用されている。
  論文  参考訳（メタデータ） (2020-10-11T06:26:56Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Emergence of Separable Manifolds in Deep Language Representations [26.002842878797765]
  ディープニューラルネットワーク(DNN)は、様々な認知的モダリティをまたいだ知覚的タスクの解決において、非常に経験的な成功を示している。 最近の研究では、タスク最適化DNNから抽出された表現と脳内の神経集団の間にかなりの類似性が報告されている。 DNNは後に、複雑な認知機能の基礎となる計算原理を推論する一般的なモデルクラスとなった。
  論文  参考訳（メタデータ） (2020-06-01T17:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。