論文の概要: Who Does What in Deep Learning? Multidimensional Game-Theoretic Attribution of Function of Neural Units

• arxiv url: http://arxiv.org/abs/2506.19732v1
• Date: Tue, 24 Jun 2025 15:50:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.703875
• Title: Who Does What in Deep Learning? Multidimensional Game-Theoretic Attribution of Function of Neural Units
• Title（参考訳）: ディープラーニングで何ができるか : 多次元ゲーム理論によるニューラルユニットの機能の寄与
• Authors: Shrey Dixit, Kayson Fakhar, Fatemeh Hadaeghi, Patrick Mineault, Konrad P. Kording, Claus C. Hilgetag,
• Abstract要約: SHAPのような既存の説明可能なAI手法は入力に重要であるが、神経ユニットの寄与を定量化することはできない。 ここでは、モデルに依存しないゲーム理論フレームワークであるMultiperturbation Shapley-value Analysis (MSA)とのギャップを埋める。
• 参考スコア（独自算出の注目度）: 0.9895793818721335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks now generate text, images, and speech with billions of parameters, producing a need to know how each neural unit contributes to these high-dimensional outputs. Existing explainable-AI methods, such as SHAP, attribute importance to inputs, but cannot quantify the contributions of neural units across thousands of output pixels, tokens, or logits. Here we close that gap with Multiperturbation Shapley-value Analysis (MSA), a model-agnostic game-theoretic framework. By systematically lesioning combinations of units, MSA yields Shapley Modes, unit-wise contribution maps that share the exact dimensionality of the model's output. We apply MSA across scales, from multi-layer perceptrons to the 56-billion-parameter Mixtral-8x7B and Generative Adversarial Networks (GAN). The approach demonstrates how regularisation concentrates computation in a few hubs, exposes language-specific experts inside the LLM, and reveals an inverted pixel-generation hierarchy in GANs. Together, these results showcase MSA as a powerful approach for interpreting, editing, and compressing deep neural networks.
• Abstract（参考訳）: ニューラルネットワークは、数十億のパラメータを持つテキスト、画像、音声を生成し、各ニューラルネットワークユニットがこれらの高次元出力にどのように貢献するかを知る必要がある。 SHAPのような既存の説明可能なAI手法は入力に重要であるが、数千の出力ピクセル、トークン、ロジットにまたがる神経ユニットの寄与を定量化することはできない。 ここでは、モデルに依存しないゲーム理論フレームワークであるMultiperturbation Shapley-value Analysis (MSA)とのギャップを埋める。 ユニットの組み合わせを体系的に歪めることにより、MSAはモデルの出力の正確な次元性を共有するシャプリーモード(Shapley Modes)を生成できる。 マルチ層パーセプトロンから56ビリオンパラメータのMixtral-8x7BとGAN(Generative Adversarial Networks)まで,マルチスケールのMSAを適用した。 このアプローチは、正規化がいくつかのハブでの計算に集中する方法を示し、LLM内の言語固有の専門家を公開し、GANの逆ピクセル世代階層を明らかにする。 これらの結果は、深層ニューラルネットワークを解釈、編集、圧縮するための強力なアプローチとしてMSAを示す。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Du-IN: Discrete units-guided mask modeling for decoding speech from Intracranial Neural signals [5.283718601431859]
  エレクトロコルチコグラフィー(ECoG)を用いた脳-コンピュータインタフェースは,医療応用における高性能音声復号化を約束している。 離散コーデックス誘導マスクモデリングにより,領域レベルのトークンに基づくコンテキスト埋め込みを抽出するDu-INモデルを開発した。 本モデルでは,61ワードの分類タスクにおいて,すべてのベースラインを越えながら最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-05-19T06:00:36Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Multi-View Photometric Stereo Revisited [100.97116470055273]
  多視点測光ステレオ(MVPS)は、画像から被写体を詳細に正確に3D取得する方法として好まれる。 MVPSは異方性や光沢などの他の対象物質と同様に,等方性に対しても有効である。 提案手法は、複数のベンチマークデータセットで広範囲にテストした場合に、最先端の結果を示す。
  論文  参考訳（メタデータ） (2022-10-14T09:46:15Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Deep Features for training Support Vector Machine [16.795405355504077]
  本稿では,訓練済みcnnから抽出した特徴に基づく汎用コンピュータビジョンシステムを開発した。 複数の学習特徴を単一の構造に組み合わせ、異なる画像分類タスクに取り組んでいます。
  論文  参考訳（メタデータ） (2021-04-08T03:13:09Z)
• Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling [79.15521784128102]
  画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。 空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。 空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:01:08Z)
• Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset [81.02949933048332]
  本稿では、表現類似度分析(RSA)の深部拡張であるDRSL(Deep Representational similarity Learning)を開発する。 DRSLは、多数の被験者を持つfMRIデータセットにおける様々な認知タスク間の類似性を分析するのに適している。
  論文  参考訳（メタデータ） (2020-09-28T18:30:14Z)
• Sparse Coding Driven Deep Decision Tree Ensembles for Nuclear Segmentation in Digital Pathology Images [15.236873250912062]
  デジタル病理画像セグメンテーションタスクにおいて、ディープニューラルネットワークと高い競争力を持つ、容易に訓練されながら強力な表現学習手法を提案する。 ScD2TEと略すこの手法はスパースコーディング駆動の深層決定木アンサンブルと呼ばれ、表現学習の新しい視点を提供する。
  論文  参考訳（メタデータ） (2020-08-13T02:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。