論文の概要: Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models

• arxiv url: http://arxiv.org/abs/2604.01404v1
• Date: Wed, 01 Apr 2026 21:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.060922
• Title: Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models
• Title（参考訳）: シリコの友人と祖母:言語モデルにおけるエンティティセルの局在
• Authors: Itay Yona, Dan Barzilay, Michael Karasik, Mor Geva,
• Abstract要約: 各エンティティについてテンプレート化されたプロンプトを用いて、エンティティ選択ニューロンをローカライズする。 次に,PopQAをベースとした事例の因果的介入による検証を行った。 多くのエンティティでは、単一の局在化されたニューロンを活性化することは、エンティティ一貫性のある予測を回復するのに十分である。
• 参考スコア（独自算出の注目度）: 21.857296148148905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models can answer many entity-centric factual questions, but it remains unclear which internal mechanisms are involved in this process. We study this question across multiple language models. We localize entity-selective MLP neurons using templated prompts about each entity, and then validate them with causal interventions on PopQA-based QA examples. On a curated set of 200 entities drawn from PopQA, localized neurons concentrate in early layers. Negative ablation produces entity-specific amnesia, while controlled injection at a placeholder token improves answer retrieval relative to mean-entity and wrong-cell controls. For many entities, activating a single localized neuron is sufficient to recover entity-consistent predictions once the context is initialized, consistent with compact entity retrieval rather than purely gradual enrichment across depth. Robustness to aliases, acronyms, misspellings, and multilingual forms supports a canonicalization interpretation. The effect is strong but not universal: not every entity admits a reliable single-neuron handle, and coverage is higher for popular entities. Overall, these results identify sparse, causally actionable access points for analyzing and modulating entity-conditioned factual behavior.
• Abstract（参考訳）: 言語モデルは、多くのエンティティ中心の事実的疑問に答えることができるが、どの内部メカニズムがこのプロセスに関与しているのかは不明だ。 我々はこの問題を複数の言語モデルにまたがって研究する。 実体選択性MLPニューロンは各実体についてテンプレート化されたプロンプトを用いて局在し,PopQAに基づくQA例に対する因果的介入で検証する。 PopQAから引き出された200個のエンティティの硬化したセットでは、局所化されたニューロンが初期層に集中している。 負のアブレーションはエンティティ固有のアムネシアを生成し、プレースホルダトークンでの制御されたインジェクションは平均性および誤セル制御に対する回答検索を改善する。 多くのエンティティにとって、単一の局在化されたニューロンを活性化することは、コンテキストが初期化されるとエンティティ一貫性のある予測を回復するのに十分である。 エイリアス、頭字語、ミススペル、多言語形式に対するロバスト性は、正準化解釈を支持する。 この効果は強いが普遍的ではない。全てのエンティティが信頼できる単一ニューロンハンドルを認めているわけではないし、一般的なエンティティに対してはカバレッジが高い。 全体として、これらの結果は、実体条件の事実行動を分析し、調整するためのスパースで因果的に作用可能なアクセスポイントを同定する。

関連論文リスト

• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [85.0284555835015]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 多言語環境でのLLMの内部動作を探究する研究はほとんどない。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Question Answering over Knowledge Graphs with Neural Machine Translation and Entity Linking [2.335152769484957]
  知識グラフに関する質問回答(KGQA)の目的は、知識グラフ上で自然言語の質問に対する回答を見つけることである。 最近のKGQAアプローチでは、自然言語質問を構造化クエリ言語に変換するニューラルネットワーク翻訳(NMT)アプローチを採用している。 本稿では,エンティティの処理をエンティティリンク(EL)システムに委譲するKGQAアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-06T19:57:02Z)
• Multilingual Autoregressive Entity Linking [49.35994386221958]
  mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。 与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。 提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
  論文  参考訳（メタデータ） (2021-03-23T13:25:55Z)
• LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention [37.111204321059084]
  両方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。 我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。 また,変換器の自己認識機構の拡張である自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-02T15:38:03Z)
• Autoregressive Entity Retrieval [55.38027440347138]
  エンティティは、知識の表現と集約の方法の中心にあります。 クエリが与えられたエンティティを検索できることは、エンティティリンクやオープンドメインの質問応答のような知識集約的なタスクに基本となる。 本稿では,自己回帰方式でトークン・バイ・トークンを左から右に生成し,エンティティを検索する最初のシステムであるGENREを提案する。
  論文  参考訳（メタデータ） (2020-10-02T10:13:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。