論文の概要: Much Easier Said Than Done: Falsifying the Causal Relevance of Linear
Decoding Methods
- arxiv url: http://arxiv.org/abs/2211.04367v1
- Date: Tue, 8 Nov 2022 16:43:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 15:34:14.083274
- Title: Much Easier Said Than Done: Falsifying the Causal Relevance of Linear
Decoding Methods
- Title（参考訳）: 言うほど簡単ではない:線形復号法における因果関係の改ざん
- Authors: Lucas Hayne, Abhijit Suresh, Hunar Jain, Rahul Kumar, R. McKell Carter
- Abstract要約: 線形分類器プローブは、高い選択性を持つユニットをネットワーク機能にとって最も重要なものとして識別する。
選択的ニューロンに対するアブレーション効果がないにもかかわらず、線形復号法はネットワーク機能の解釈に効果的に利用できる。
具体的には,AlexNet,VGG16,MobileNetV2,ResNet101のユニット群において,選択性とユニットの平均活動の相互作用がアブレーション性能の低下を予測できることを示す。
- 参考スコア（独自算出の注目度）: 1.3999481573773074
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Linear classifier probes are frequently utilized to better understand how
neural networks function. Researchers have approached the problem of
determining unit importance in neural networks by probing their learned,
internal representations. Linear classifier probes identify highly selective
units as the most important for network function. Whether or not a network
actually relies on high selectivity units can be tested by removing them from
the network using ablation. Surprisingly, when highly selective units are
ablated they only produce small performance deficits, and even then only in
some cases. In spite of the absence of ablation effects for selective neurons,
linear decoding methods can be effectively used to interpret network function,
leaving their effectiveness a mystery. To falsify the exclusive role of
selectivity in network function and resolve this contradiction, we
systematically ablate groups of units in subregions of activation space. Here,
we find a weak relationship between neurons identified by probes and those
identified by ablation. More specifically, we find that an interaction between
selectivity and the average activity of the unit better predicts ablation
performance deficits for groups of units in AlexNet, VGG16, MobileNetV2, and
ResNet101. Linear decoders are likely somewhat effective because they overlap
with those units that are causally important for network function.
Interpretability methods could be improved by focusing on causally important
units.
- Abstract（参考訳）: 線形分類器プローブはニューラルネットワークがどのように機能するかをよりよく理解するために頻繁に使用される。
研究者は、学習された内部表現を探索することで、ニューラルネットワークにおけるユニットの重要性を決定する問題にアプローチした。
線形分類器プローブは、高い選択性の高いユニットをネットワーク機能にとって最も重要なものとして識別する。
ネットワークが実際に高い選択性ユニットに依存しているかどうかを、アブレーションを用いてネットワークから除去することでテストすることができる。
意外なことに、高度に選択性の高いユニットが廃止されると、パフォーマンスの損失は少なくなり、場合によっては一部のケースに限られる。
選択的ニューロンに対するアブレーション効果がないにもかかわらず、線形復号法はネットワーク機能の解釈に有効であり、その効果は謎のままである。
ネットワーク関数における選択性の排他的役割をfalsifyし、この矛盾を解消するために、活性化空間の部分領域における単位群を体系的にアブレーションする。
ここでは,プローブにより同定されたニューロンとアブレーションによって同定されたニューロンとの間に弱い相関関係を見いだす。
具体的には,AlexNet,VGG16,MobileNetV2,ResNet101のユニット群において,選択性とユニットの平均活動の相互作用がアブレーション性能の低下を予測できることを示す。
線形デコーダは、ネットワーク機能にとって因果的に重要なユニットと重なるため、何らかの効果がある。
因果的に重要な単位に注目して解釈可能性を改善することができる。
関連論文リスト
- Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Effective Subset Selection Through The Lens of Neural Network Pruning [31.43307762723943]
注釈付きデータを賢明に選択することが重要であり、これは部分集合選択問題として知られている。
より広範に研究されているサブセット選択とニューラルネットワークプルーニングの関係について検討する。
ニューラルネットワークの特徴のノルム基準を利用して、サブセット選択法を改善することを提案する。
論文 参考訳（メタデータ） (2024-06-03T08:12:32Z) - An Adaptive Contrastive Learning Model for Spike Sorting [12.043679000694258]
神経科学研究においては、個々のニューロンの活動を分離することが重要である。
大規模なシリコン技術の発展に伴い、スパイクの人工的解釈とラベル付けはますます非現実的になりつつある。
対照的な学習を通してスパイクから表現を学習する新しいモデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-24T09:18:46Z) - Wide and Deep Neural Networks Achieve Optimality for Classification [23.738242876364865]
我々は、最適性を達成するニューラルネットワーク分類器の明示的な集合を同定し、構築する。
特に、最適性を実現するネットワーク構築に使用できる明示的なアクティベーション関数を提供する。
その結果,過度な深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することの利点が浮き彫りになった。
論文 参考訳（メタデータ） (2022-04-29T14:27:42Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Consistent feature selection for neural networks via Adaptive Group
Lasso [3.42658286826597]
ニューラルネットワークの重要な特徴を選択するための適応型グループの使用に関する理論的保証を提案し,確立する。
具体的には,1つの隠蔽層と双曲的タンジェント活性化関数を持つ単一出力フィードフォワードニューラルネットワークに対して,特徴選択法が整合であることを示す。
論文 参考訳（メタデータ） (2020-05-30T18:50:56Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - BiDet: An Efficient Binarized Object Detector [96.19708396510894]
本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。
我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。
我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
論文 参考訳（メタデータ） (2020-03-09T08:16:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。