論文の概要: Interpreting ResNet-based CLIP via Neuron-Attention Decomposition

• arxiv url: http://arxiv.org/abs/2509.19943v2
• Date: Thu, 25 Sep 2025 07:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 14:16:56.120222
• Title: Interpreting ResNet-based CLIP via Neuron-Attention Decomposition
• Title（参考訳）: ResNetをベースとしたCLIPのニューロン認識分解による解釈
• Authors: Edmund Bu, Yossi Gandelsman,
• Abstract要約: 本稿では,CLIP-ResNetのニューロンを個別の計算経路に分解して解釈する手法を提案する。 これらのニューロンヘッドペアは、CLIP-ResNetのイメージテキスト埋め込み空間において、単一の方向で近似できる。 トレーニング不要なセマンティックセマンティックセグメンテーションでは,CLIP-ResNetの従来の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 17.65407773911596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel technique for interpreting the neurons in CLIP-ResNet by decomposing their contributions to the output into individual computation paths. More specifically, we analyze all pairwise combinations of neurons and the following attention heads of CLIP's attention-pooling layer. We find that these neuron-head pairs can be approximated by a single direction in CLIP-ResNet's image-text embedding space. Leveraging this insight, we interpret each neuron-head pair by associating it with text. Additionally, we find that only a sparse set of the neuron-head pairs have a significant contribution to the output value, and that some neuron-head pairs, while polysemantic, represent sub-concepts of their corresponding neurons. We use these observations for two applications. First, we employ the pairs for training-free semantic segmentation, outperforming previous methods for CLIP-ResNet. Second, we utilize the contributions of neuron-head pairs to monitor dataset distribution shifts. Our results demonstrate that examining individual computation paths in neural networks uncovers interpretable units, and that such units can be utilized for downstream tasks.
• Abstract（参考訳）: 本稿では,CLIP-ResNetのニューロンを個別の計算経路に分解して解釈する手法を提案する。 より具体的には、CLIPのアテンションプール層のニューロンと次のアテンションヘッドのペアワイズ組み合わせを解析する。 これらのニューロンヘッドペアは、CLIP-ResNetのイメージテキスト埋め込み空間において、単一の方向で近似できる。 この知見を生かして、各ニューロンの頭部対をテキストに関連付けることで解釈する。 さらに、ニューロンヘッドペアのスパースセットのみが出力値に重要な寄与し、いくつかのニューロンヘッドペアは、ポリセマンティックであるにもかかわらず、対応するニューロンのサブコンセプトを表していることが判明した。 これらの観測を2つの応用に適用する。 まず、トレーニング不要なセマンティックセグメンテーションにペアを採用し、CLIP-ResNetの従来の手法よりも優れています。 第2に、ニューロンヘッドペアのコントリビューションを利用して、データセットの分布変化をモニタリングする。 ニューラルネットワークの個々の計算経路を調べることで、解釈可能なユニットが発見され、そのようなユニットを下流のタスクに利用できることを示す。

関連論文リスト

• NeurFlow: Interpreting Neural Networks through Neuron Groups and Functional Interactions [16.00223741620103]
  本稿では、個々のニューロンの分析からニューロン群の調査へと焦点を移す新しい枠組みを提案する。 自動フレームワークNeurFlowは、まずコアニューロンを特定し、共有機能関係に基づいてグループにクラスタ化する。
  論文  参考訳（メタデータ） (2025-02-22T06:01:03Z)
• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンの自動解釈は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。