論文の概要: Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics

• arxiv url: http://arxiv.org/abs/2604.00443v1
• Date: Wed, 01 Apr 2026 03:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.821041
• Title: Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics
• Title（参考訳）: 多意味性(polysemanticity)と多意味性(polysemy)
• Authors: Iyad Ait Hou, Rebecca Hwa,
• Abstract要約: 同じニューロンが「レンダー」と「リバーサイド」の両方で活性化すると、標準のメトリクスは重なり合いが重なり合う。 ニューロンは2つの圧縮された概念ではなく、共有された単語形式(例えば「バンク」)に対して発火する。
• 参考スコア（独自算出の注目度）: 2.8142398674792815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: If the same neuron activates for both "lender" and "riverside," standard metrics attribute the overlap to superposition--the neuron must be compressing two unrelated concepts. This work explores how much of the overlap is due a lexical confound: neurons fire for a shared word form (such as "bank") rather than for two compressed concepts. A 2x2 factorial decomposition reveals that the lexical-only condition (same word, different meaning) consistently exceeds the semantic-only condition (different word, same meaning) across models spanning 110M-70B parameters. The confound carries into sparse autoencoders (18-36% of features blend senses), sits in <=1% of activation dimensions, and hurts downstream tasks: filtering it out improves word sense disambiguation and makes knowledge edits more selective (p = 0.002).
• Abstract（参考訳）: 同じニューロンが「レンダー」と「リバーサイド」の両方で活性化される場合、標準的な測定基準は重なり合いが重なり、ニューロンは2つの無関係な概念を圧縮しなければならない。 ニューロンは2つの圧縮された概念ではなく、共有された単語形式(例えば「バンク」)に対して発火する。 2x2因子分解は、語彙のみの状態(同じ単語、異なる意味)が110M-70Bパラメータのモデルにまたがる意味のみの状態(異なる単語、同じ意味)を一貫して超えることを示した。 コンファウンドはスパースオートエンコーダ(機能ブレンドセンスの18～36%)に入り、アクティベーションディメンションの1%に収まり、下流のタスクを損なう: 単語感覚の曖昧さを改善し、知識編集をより選択的にする(p = 0.002)。

関連論文リスト

• Beyond Cosine Similarity: Taming Semantic Drift and Antonym Intrusion in a 15-Million Node Turkish Synonym Graph [0.0]
  この問題を解決するために,我々は大規模セマンティッククラスタリングシステムを構築している。 我々は,同義語,無調語,同調語にまたがる843,000のコンセプトペアのラベル付きデータセットを紹介した。 第2に、90%のマクロF1を達成する3方向意味論的判別器を提案する。 第3に,ポリセミーを同時に解きながらセマンティックドリフトを緩和するソフト・ハード・クラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-19T17:37:25Z)
• Word2Spike: Poisson Rate Coding for Associative Memories and Neuromorphic Algorithms [0.0]
  スパイクニューラルネットワークは、エネルギー効率が高く、脳に似た連想記憶への有望な道を提供する。 本稿では,連続語埋め込みとニューロモルフィックアーキテクチャを組み合わせた新しいレート符号化機構であるWord2Spikeを紹介する。
  論文  参考訳（メタデータ） (2025-09-09T03:15:22Z)
• Disentangling Polysemantic Neurons with a Null-Calibrated Polysemanticity Index and Causal Patch Interventions [4.032680910442999]
  ポリセマンティリティ指数(英: Polysemanticity Index、PSI)は、ニューロンのトップアクティベーションが意味的に異なるクラスタに分解されたときを定量化する、ヌルキャリブレーションの指標である。 Tiny-ImageNetの画像で評価された事前トレーニングされたResNet-50では、PSIは活性化セットをコヒーレントな名前のプロトタイプに分割したニューロンを特定する。
  論文  参考訳（メタデータ） (2025-08-23T08:48:59Z)
• On Relation-Specific Neurons in Large Language Models [55.38860695310484]
  大きな言語モデルでは、あるニューロンは事前訓練中に学んだ知識を個別に保存することができる。 我々は,テキスト統計に基づく手法を用いて,LLama-2ファミリーを選択された関係集合で研究する。 我々の実験は関係特異的ニューロンの存在を実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:33:18Z)
• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンの自動解釈は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• RAW-C: Relatedness of Ambiguous Words--in Context (A New Lexical Resource for English) [2.792030485253753]
  文脈的埋め込みが単語の意味の連続的、動的性質にどの程度適合しているかを評価する。 我々は、コサイン距離が、人間が同じ単語の感覚をいかに利用しているかを体系的に過小評価していることを示す。 本稿では,精神語彙の心理言語学理論と語彙意味論の計算モデルとの合成を提案する。
  論文  参考訳（メタデータ） (2021-05-27T16:07:13Z)
• Can a Fruit Fly Learn Word Embeddings? [16.280120177501733]
  フルーツフライ脳は、神経科学で最も研究されたシステムの1つです。 ネットワークモチーフは単語の意味表現を学習し,静的および文脈依存の単語埋め込みを生成できることを示す。 また,fruit fly networkのモチーフはnlpの既存の手法に匹敵する性能を実現するだけでなく,計算資源のほんの一部しか使用できないことを示した。
  論文  参考訳（メタデータ） (2021-01-18T05:41:50Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。