論文の概要: DISCOVER: Making Vision Networks Interpretable via Competition and Dissection

• arxiv url: http://arxiv.org/abs/2310.04929v1
• Date: Sat, 7 Oct 2023 21:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 14:28:46.767627
• Title: DISCOVER: Making Vision Networks Interpretable via Competition and Dissection
• Title（参考訳）: Discover: 競争と差別によるビジョンネットワークの解釈
• Authors: Konstantinos P. Panousis, Sotirios Chatzis
• Abstract要約: この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
• 参考スコア（独自算出の注目度）: 11.028520416752325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep networks are highly complex and their inferential outcome very hard to interpret. This is a serious obstacle to their transparent deployment in safety-critical or bias-aware applications. This work contributes to post-hoc interpretability, and specifically Network Dissection. Our goal is to present a framework that makes it easier to discover the individual functionality of each neuron in a network trained on a vision task; discovery is performed in terms of textual description generation. To achieve this objective, we leverage: (i) recent advances in multimodal vision-text models and (ii) network layers founded upon the novel concept of stochastic local competition between linear units. In this setting, only a small subset of layer neurons are activated for a given input, leading to extremely high activation sparsity (as low as only $\approx 4\%$). Crucially, our proposed method infers (sparse) neuron activation patterns that enables the neurons to activate/specialize to inputs with specific characteristics, diversifying their individual functionality. This capacity of our method supercharges the potential of dissection processes: human understandable descriptions are generated only for the very few active neurons, thus facilitating the direct investigation of the network's decision process. As we experimentally show, our approach: (i) yields Vision Networks that retain or improve classification performance, and (ii) realizes a principled framework for text-based description and examination of the generated neuronal representations.
• Abstract（参考訳）: 現代のディープネットワークは非常に複雑で、推論結果の解釈は非常に困難である。 これは、安全クリティカルまたはバイアス対応のアプリケーションに透過的なデプロイを行う上で、重大な障害になります。 この研究はポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちの目標は、視覚タスクで訓練されたネットワーク内の各ニューロンの個々の機能の発見を容易にするフレームワークを提供することです。 この目的を達成するために i)マルチモーダル視覚テキストモデルの最近の進歩と課題 (ii)線形単位間の確率的局所競合という新しい概念に基づくネットワーク層。 この設定では、与えられた入力に対して少数の層ニューロンのみが活性化され、非常に高い活性化間隔(わずか$\approx 4\%$)となる。 提案手法は,ニューロンが特定の特徴を持つ入力を活性化・特定し,個々の機能を多様化する(疎)ニューロン活性化パターンを推論する。 ヒトの理解可能な記述は、ごく少数の活動ニューロンに対してのみ生成されるため、ネットワークの決定過程の直接的調査が容易になる。 私たちが実験的に示すように、我々のアプローチは (i)分類性能を保ち、または向上させるビジョンネットワークを提供する。 (II) 生成したニューロン表現のテキストベース記述と検証のための原則的枠組みを実現する。

関連論文リスト

• Identifying Sub-networks in Neural Networks via Functionally Similar Representations [41.028797971427124]
  我々は、異なるサブネットワークの存在を調査し、ネットワークの理解を自動化するための一歩を踏み出した。 我々のアプローチは、人間と計算コストを最小限に抑えたニューラルネットワークの振る舞いに関する有意義な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-21T20:19:00Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
  本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。 ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。 我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:31:54Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• Neural Activation Patterns (NAPs): Visual Explainability of Learned Concepts [8.562628320010035]
  本稿では,活性化分布全体を考慮に入れた手法を提案する。 ニューラルネットワーク層の高次元活性化空間内で同様の活性化プロファイルを抽出することにより、同様に扱われる入力のグループを見つける。 これらの入力グループは、ニューラルネットワークアクティベーションパターン(NAP)を表現し、学習された層の概念を視覚化し解釈するために使用することができる。
  論文  参考訳（メタデータ） (2022-06-20T09:05:57Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。