論文の概要: Local vs distributed representations: What is the right basis for interpretability?

• arxiv url: http://arxiv.org/abs/2411.03993v1
• Date: Wed, 06 Nov 2024 15:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:23:20.125400
• Title: Local vs distributed representations: What is the right basis for interpretability?
• Title（参考訳）: ローカル対分散表現: 解釈可能性の正しい基盤は何か?
• Authors: Julien Colin, Lore Goetschalckx, Thomas Fel, Victor Boutin, Jay Gopal, Thomas Serre, Nuria Oliver,
• Abstract要約: スパース分布表現から得られる特徴は、人間の観察者による解釈が容易であることを示す。 この結果から,分散表現が解釈可能性の優れた基盤となることが明らかとなった。
• 参考スコア（独自算出の注目度）: 19.50614357801837
• License:
• Abstract: Much of the research on the interpretability of deep neural networks has focused on studying the visual features that maximally activate individual neurons. However, recent work has cast doubts on the usefulness of such local representations for understanding the behavior of deep neural networks because individual neurons tend to respond to multiple unrelated visual patterns, a phenomenon referred to as "superposition". A promising alternative to disentangle these complex patterns is learning sparsely distributed vector representations from entire network layers, as the resulting basis vectors seemingly encode single identifiable visual patterns consistently. Thus, one would expect the resulting code to align better with human perceivable visual patterns, but supporting evidence remains, at best, anecdotal. To fill this gap, we conducted three large-scale psychophysics experiments collected from a pool of 560 participants. Our findings provide (i) strong evidence that features obtained from sparse distributed representations are easier to interpret by human observers and (ii) that this effect is more pronounced in the deepest layers of a neural network. Complementary analyses also reveal that (iii) features derived from sparse distributed representations contribute more to the model's decision. Overall, our results highlight that distributed representations constitute a superior basis for interpretability, underscoring a need for the field to move beyond the interpretation of local neural codes in favor of sparsely distributed ones.
• Abstract（参考訳）: ディープニューラルネットワークの解釈可能性に関する研究の多くは、個々のニューロンを最大限に活性化する視覚的特徴の研究に重点を置いている。 しかし、近年の研究は、個々のニューロンが複数の無関係な視覚パターンに反応する傾向があるため、ディープニューラルネットワークの振る舞いを理解するためのそのような局所表現の有用性に疑問を投げかけている。 これらの複雑なパターンを切り離すための有望な代替手段は、ネットワーク層全体からわずかに分散したベクトル表現を学習することである。 したがって、結果のコードは人間の知覚可能な視覚パターンとよく一致すると期待されるが、証拠を支持することは、少なくとも逸話的である。 このギャップを埋めるために,560人の参加者から収集した大規模精神物理学実験を3回行った。 私たちの発見は 一 まばらな分散表現から得られる特徴が人間の観察者により解釈し易いという強い証拠 (ii)この効果はニューラルネットワークの最も深い層においてより顕著である。 補完的な分析もそれを明らかにしている。 (iii)スパース分散表現から派生した特徴がモデルの判断にさらに寄与する。 全体としては、分散表現は解釈可能性の優れた基盤であり、局所的なニューラルネットワークの解釈を超越して、わずかに分散した表現を優先する分野の必要性を強調している。

関連論文リスト

• Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
  本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。 ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。 我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:31:54Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• DISCOVER: Making Vision Networks Interpretable via Competition and Dissection [11.028520416752325]
  この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
  論文  参考訳（メタデータ） (2023-10-07T21:57:23Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
  本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。 本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
  論文  参考訳（メタデータ） (2021-05-18T15:51:24Z)
• On 1/n neural representation and robustness [13.491651740693705]
  実験で観測された構造をニューラルネットワークに組み込むことで、敵の攻撃に対してより堅牢であることを示す。 本研究は,広いニューラルネットワークとカーネル手法に関する既存の理論を補完するものである。
  論文  参考訳（メタデータ） (2020-12-08T20:34:49Z)
• Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization [59.5104563755095]
  本稿では,医用画像分類分野におけるディープニューラルネットワークの一般化能力向上のための,シンプルだが効果的なアプローチを提案する。 医用画像の領域変数がある程度コンパクトであることに感銘を受けて,変分符号化による代表的特徴空間の学習を提案する。
  論文  参考訳（メタデータ） (2020-09-27T12:30:30Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。