論文の概要: Disentangling Polysemantic Channels in Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2504.12939v1
• Date: Thu, 17 Apr 2025 13:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:17.998024
• Title: Disentangling Polysemantic Channels in Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークにおける多意味チャネルの分離
• Authors: Robin Hesse, Jonas Fischer, Simone Schaub-Meyer, Stefan Roth,
• Abstract要約: 特定の種類の多意味チャネルを複数のチャネルに切り離すアルゴリズムを提案し,それぞれが一つの概念に応答する。 提案手法はCNNの重みを再構成し、同一チャネル内の異なる概念が前層の異なるアクティベーションパターンを示すことを活用する。 これらの多意味的特徴を解消することにより、CNNの解釈可能性を高め、最終的には特徴可視化などの説明技法を改良する。
• 参考スコア（独自算出の注目度）: 19.820962422336375
• License:
• Abstract: Mechanistic interpretability is concerned with analyzing individual components in a (convolutional) neural network (CNN) and how they form larger circuits representing decision mechanisms. These investigations are challenging since CNNs frequently learn polysemantic channels that encode distinct concepts, making them hard to interpret. To address this, we propose an algorithm to disentangle a specific kind of polysemantic channel into multiple channels, each responding to a single concept. Our approach restructures weights in a CNN, utilizing that different concepts within the same channel exhibit distinct activation patterns in the previous layer. By disentangling these polysemantic features, we enhance the interpretability of CNNs, ultimately improving explanatory techniques such as feature visualizations.
• Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)とは、(畳み込み)ニューラルネットワーク(CNN)内の個々のコンポーネントを分析し、意思決定メカニズムを表す大きな回路を形成する方法である。 これらの調査は、CNNが異なる概念をエンコードする多意味チャネルを頻繁に学習しているため、解釈が困難である。 そこで本研究では,特定の種類の多意味チャネルを複数のチャネルに切り離すアルゴリズムを提案し,それぞれが一つの概念に応答する。 提案手法はCNNの重みを再構成し、同一チャネル内の異なる概念が前層の異なるアクティベーションパターンを示すことを活用する。 これらの多意味的特徴を解消することにより、CNNの解釈可能性を高め、最終的には特徴可視化などの説明技法を改良する。

関連論文リスト

• GINN-KAN: Interpretability pipelining with applications in Physics Informed Neural Networks [5.2969467015867915]
  本稿では,解釈可能性パイプラインの概念を導入し,複数の解釈可能性技術を導入し,各手法の精度を向上する。 我々は、標準的なニューラルネットワークアーキテクチャに解釈可能性を導入する可能性のために選択された2つの最近のモデルを評価する。 両モデルの利点を合成する新しい解釈可能なニューラルネットワークGINN-KANを提案する。
  論文  参考訳（メタデータ） (2024-08-27T04:57:53Z)
• PURE: Turning Polysemantic Neurons Into Pure Features by Identifying Relevant Circuits [12.17671779091913]
  本稿では、複数の単意味「仮想」ニューロンにポリセマンティックニューロンを分解することで、あらゆるディープニューラルネットワークのポリセマンティック性を遠ざける方法を提案する。 私たちは、ImageNetでトレーニングされたResNetモデルの多意味ユニットを、どのように見つけ、切り離すことができるかを示します。
  論文  参考訳（メタデータ） (2024-04-09T16:54:19Z)
• Semantics Alignment via Split Learning for Resilient Multi-User Semantic Communication [56.54422521327698]
  最近の意味コミュニケーションの研究は、ディープジョイントソースやチャネルコーディング(DeepJSCC)のようなニューラルネットワーク(NN)ベースのトランシーバに依存している。 従来のトランシーバとは異なり、これらのニューラルトランシーバは実際のソースデータとチャネルを使用してトレーニング可能であり、セマンティクスを抽出し通信することができる。 本稿では,分割学習(SL)と部分的NN微調整技術を活用する分散学習ベースソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-13T20:29:55Z)
• Centered Self-Attention Layers [89.21791761168032]
  変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。 我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。 これらの機構の集約演算子に補正項を提示する。
  論文  参考訳（メタデータ） (2023-06-02T15:19:08Z)
• Deeply Explain CNN via Hierarchical Decomposition [75.01251659472584]
  コンピュータビジョンにおいて、CNNの説明に寄与するいくつかの手法は、中間的特徴がネットワーク予測にどのように影響するかを研究する。 本稿では,CNNの意思決定過程をトップダウンで説明する階層的な分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-23T07:56:04Z)
• Modeling Temporal Concept Receptive Field Dynamically for Untrimmed Video Analysis [105.06166692486674]
  本稿では,概念に基づくイベント表現の時間的概念受容分野について考察する。 時間的動的畳み込み(TDC)を導入し、概念に基づくイベント分析をより柔軟にする。 異なる係数は、入力ビデオに応じて適切な時間的概念受容フィールドサイズを生成することができる。
  論文  参考訳（メタデータ） (2021-11-23T04:59:48Z)
• Finding Representative Interpretations on Convolutional Neural Networks [43.25913447473829]
  我々は、多数の類似画像に対して非常に代表的な解釈を生成するために、新しい教師なしのアプローチを開発する。 我々は,共クラスタリング問題として代表解釈を求める問題を定式化し,それをサブモジュラーコストのサブモジュラーカバー問題に変換する。 提案手法の優れた性能を示す実験を行った。
  論文  参考訳（メタデータ） (2021-08-13T20:17:30Z)
• Interpretable Compositional Convolutional Neural Networks [20.726080433723922]
  本稿では,従来の畳み込みニューラルネットワーク(CNN)を解釈可能な合成CNNに変換する手法を提案する。 合成CNNでは、各フィルタは、明確な意味を持つ特定の合成対象部分または画像領域を一貫して表現することになっている。 我々の手法は様々な種類のCNNに適用できる。
  論文  参考訳（メタデータ） (2021-07-09T15:01:24Z)
• Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of Quantization on Depthwise Separable Convolutional Networks Through the Eyes of Multi-scale Distributional Dynamics [93.4221402881609]
  MobileNetsは、モバイル用のディープ畳み込みニューラルネットワーク(CNN)のファミリーである。 訓練後の量子化では、精度が著しく低下することが多い。 より小さなDWSCNNと通常のCNNの集合であるMobileNet-V1のマルチスケール分布ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-04-24T01:28:29Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。