論文の概要: SPICE: Simple Polysemantic Feature Interpretation via Clustering-based Explanation

• arxiv url: http://arxiv.org/abs/2609.13198v1
• Date: Fri, 14 Aug 2026 01:04:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.652303
• Title: SPICE: Simple Polysemantic Feature Interpretation via Clustering-based Explanation
• Title（参考訳）: SPICE:クラスタリングによる説明による単純な多意味的特徴解釈
• Abstract要約: ディープビジョンアーキテクチャにおける多意味性解析のための一般化可能なフレームワークであるSPICEを紹介する。 SPICEはアーキテクチャに依存した伝搬規則を回避し、CNNとトランスフォーマー間での多意味性の最初の体系的な比較を可能にする。 我々は、多意味性がどのように出現し、深さとアーキテクチャにまたがって変化し、異なる計算経路を通して形成されるか、包括的な調査を行う。
• 参考スコア（独自算出の注目度）: 24.791526369199463
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: One of the pivotal recent challenges in neural network interpretability is polysemanticity, where a single neuron is activated by multiple, often unrelated concepts, hindering clear functional understanding. Although prior work has explored this phenomenon, existing approaches remain architecture-specific and depend on manual heuristics such as a fixed number of concept clusters ($K$), limiting their generality and scalability--especially for modern Transformer-based models. To address these limitations, we introduce SPICE (\textbf{S}imple \textbf{P}olysemantic Feature \textbf{I}nterpretation via \textbf{C}lustering-based \textbf{E}xplanation), a generalizable framework for analyzing polysemanticity in deep vision architectures. SPICE avoids architecture-dependent propagation rules, enabling the first systematic comparison of polysemanticity across both CNNs and Transformers, and automatically determines the number of concept clusters per neuron, eliminating reliance on a preset $K$ and supporting scalable analysis for large models. Using SPICE, we conduct a comprehensive investigation into how polysemanticity emerges, varies across depth and architecture, and forms through distinct computational pathways.
• Abstract（参考訳）: ニューラルネットワークの解釈可能性における最近の重要な課題の1つは多意味性(polysemanticity)であり、単一のニューロンが複数の、しばしば無関係な概念によって活性化され、明確な機能的理解を妨げる。 これまでの研究は、この現象を探求してきたが、既存のアプローチはアーキテクチャに特有であり、固定数の概念クラスタ(K$)のような手動のヒューリスティックに依存しており、その一般化とスケーラビリティを制限している。 これらの制約に対処するために、深い視覚アーキテクチャにおける多意味性を分析するための一般化可能なフレームワークであるSPICE (\textbf{S}imple \textbf{P}olymantic Feature \textbf{I}nterpretation via \textbf{C}lustering-based \textbf{E}xplanation)を導入する。 SPICEはアーキテクチャに依存した伝搬規則を回避し、CNNとトランスフォーマーの両方で最初の体系的なポリセマンティ比較を可能にし、ニューロン毎の概念クラスタの数を自動決定し、プリセットされた$K$への依存を排除し、大規模モデルのスケーラブルな分析をサポートする。 SPICEを用いて、多意味性がどのように出現し、深度やアーキテクチャにまたがって変化し、異なる計算経路を通して形成されるのかを包括的に調査する。

関連論文リスト

• Convergence of Gradient Descent for General Neural Network Architectures Beyond the NTK Regime [24.053364183688874]
  トレーニングダイナミクスはニューラルネットワークを理解する上で中心的な存在だ。 本稿では,ニューラルネットワークアーキテクチャの幅広いファミリ下での勾配降下ダイナミクス解析のための収束フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-22T14:00:26Z)
• Every Feedforward Neural Network Definable in an o-Minimal Structure Has Finite Sample Complexity [15.786915433105868]
  フィードフォワードニューラルネットワークの幅広いクラスは、PACモデルで学習する(有限サンプルの複雑さを持つ)ことを示す。 その結果, 有限サンプルPAC学習能力は, 微分器ではなく, ベースラインとして再構成された。
  論文  参考訳（メタデータ） (2026-05-08T01:26:25Z)
• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• Cross-Layer Discrete Concept Discovery for Interpreting Language Models [13.842670153893977]
  クロス層VQ-VAEは、ベクトル量子化を使用して層間の表現をマッピングするフレームワークである。 本手法は,量子化中のトップk温度に基づくサンプリングとEMAコードブック更新を一意に組み合わせる。
  論文  参考訳（メタデータ） (2025-06-24T22:43:36Z)
• Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence [46.548276232795466]
  多意味性は言語モデルに広く浸透しており、解釈とモデル行動制御の大きな課題である。 2つの小さなモデルの多意味的トポロジをマッピングし、意味的に無関係だがモデル内の干渉を示す特徴対を同定する。 我々は4つのloci(prompt, token, feature, neuron)に介入し、次のトーケン予測分布における変化を計測し、これらのモデルに体系的な脆弱性を露呈する多意味構造を明らかにする。
  論文  参考訳（メタデータ） (2025-05-16T18:20:42Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Polynomial-Spline Neural Networks with Exact Integrals [0.0]
  我々は,実験モデルの混合と自由結び目B1-スプライン基底関数を組み合わせた新しいニューラルネットワークアーキテクチャを開発した。 我々のアーキテクチャは近似理論から期待される収束率での回帰問題に対する$h$-および$p$-の洗練を示す。 ネットワークアーキテクチャの一貫性と正確な統合性を示す様々な回帰問題と変分問題において、我々のネットワークの成功を実証する。
  論文  参考訳（メタデータ） (2021-10-26T22:12:37Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。