論文の概要: Hedonic Neurons: A Mechanistic Mapping of Latent Coalitions in Transformer MLPs

• arxiv url: http://arxiv.org/abs/2509.23684v1
• Date: Sun, 28 Sep 2025 06:55:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.375193
• Title: Hedonic Neurons: A Mechanistic Mapping of Latent Coalitions in Transformer MLPs
• Title（参考訳）: Hedonic Neurons: Transformer MLPにおける潜在結合の力学的マッピング
• Authors: Tanya Chowdhury, Atharva Nijasure, Yair Zick, James Allan,
• Abstract要約: 本稿では,連立ゲーム理論に基づく機械的解釈可能性フレームワークを提案する。 非添加作用を有する神経細胞の安定な連なりを抽出する。 次に、レイヤ間の遷移を永続性、分割、マージ、消失として追跡します。
• 参考スコア（独自算出の注目度）: 18.335932098245895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuned Large Language Models (LLMs) encode rich task-specific features, but the form of these representations, especially within MLP layers, remains unclear. Empirical inspection of LoRA updates shows that new features concentrate in mid-layer MLPs, yet the scale of these layers obscures meaningful structure. Prior probing suggests that statistical priors may strengthen, split, or vanish across depth, motivating the need to study how neurons work together rather than in isolation. We introduce a mechanistic interpretability framework based on coalitional game theory, where neurons mimic agents in a hedonic game whose preferences capture their synergistic contributions to layer-local computations. Using top-responsive utilities and the PAC-Top-Cover algorithm, we extract stable coalitions of neurons: groups whose joint ablation has non-additive effects. We then track their transitions across layers as persistence, splitting, merging, or disappearance. Applied to LLaMA, Mistral, and Pythia rerankers fine-tuned on scalar IR tasks, our method finds coalitions with consistently higher synergy than clustering baselines. By revealing how neurons cooperate to encode features, hedonic coalitions uncover higher-order structure beyond disentanglement and yield computational units that are functionally important, interpretable, and predictive across domains.
• Abstract（参考訳）: 細調整された大規模言語モデル(LLM)は、豊富なタスク固有の特徴を符号化するが、これらの表現の形式は、特にMLP層内では不明確である。 LoRA更新の実証的な検査は、新しい機能が中層MLPに集中していることを示しているが、これらのレイヤのスケールは意味のある構造を曖昧にしている。 先行調査では、統計的な先行が深度を越えて強化、分裂、消滅し、神経細胞が孤立するよりも協調して働く方法を研究する必要性を示唆している。 我々は,階層型ゲーム理論に基づく機械的解釈可能性の枠組みを導入し,ニューロンは階層型計算への相乗的貢献を優先するヘドニックゲームにおいてエージェントを模倣する。 上位応答性ユーティリティとPAC-Top-Coverアルゴリズムを用いて、結合アブレーションが非付加的効果を持つ群である神経細胞の安定な連成を抽出する。 次に、レイヤ間の遷移を永続性、分割、マージ、消失として追跡します。 LLaMA、Mistral、PythiaといったスカラーIRタスクを微調整したリランカーに適用すると、クラスタリングベースラインよりも一貫して相乗効果の高い連立関係が見つかる。 ニューロンが機能のコード化にどのように協力するかを明らかにすることで、ヘドニック・アソシエーションは、絡み合いを超えて高次構造を発見し、機能的に重要で、解釈可能で、ドメイン間で予測可能な計算単位を産み出す。

関連論文リスト

• Distributed Specialization: Rare-Token Neurons in Large Language Models [8.13000021263958]
  大型言語モデル(LLM)は、特殊なドメインにおいて重要であるにもかかわらず、希少なトークンの表現と生成に苦慮している。 LLMは、離散モジュラーアーキテクチャや分散パラメータレベルの微分ドメインを通じて内部特殊化機構を開発するかを検討する。
  論文  参考訳（メタデータ） (2025-09-25T13:49:38Z)
• CodeBrain: Towards Decoupled Interpretability and Multi-Scale Architecture for EEG Foundation Model [52.466542039411515]
  EEGファウンデーションモデル(EFM)は、タスク固有のモデルのスケーラビリティ問題に対処するために登場した。 このギャップを埋めるために設計された2段階のEMFであるCodeBrainを紹介します。 第1段階では、異種時間・周波数の脳波信号を離散トークンに分解するTFDual-Tokenizerを導入する。 第2段階では、構造化されたグローバル畳み込みとスライディングウインドウの注意を結合したマルチスケールEEGSSMアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-06-10T17:20:39Z)
• BrainNetMLP: An Efficient and Effective Baseline for Functional Brain Network Classification [2.969929079464237]
  機能的脳ネットワーク分類のための純粋深層学習アーキテクチャであるBrainNetMLPを提案する。 提案したBrainNetMLPを2つのパブリックおよびポピュラーな脳ネットワーク分類データセットで評価した。
  論文  参考訳（メタデータ） (2025-05-14T10:55:51Z)
• NeurFlow: Interpreting Neural Networks through Neuron Groups and Functional Interactions [16.00223741620103]
  本稿では、個々のニューロンの分析からニューロン群の調査へと焦点を移す新しい枠組みを提案する。 自動フレームワークNeurFlowは、まずコアニューロンを特定し、共有機能関係に基づいてグループにクラスタ化する。
  論文  参考訳（メタデータ） (2025-02-22T06:01:03Z)
• P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。 長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。 我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T04:23:11Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Language Knowledge-Assisted Representation Learning for Skeleton-Based Action Recognition [71.35205097460124]
  人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。 LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T08:29:16Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。