論文の概要: Automatic Discovery of Visual Circuits
- arxiv url: http://arxiv.org/abs/2404.14349v1
- Date: Mon, 22 Apr 2024 17:00:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 13:17:55.166465
- Title: Automatic Discovery of Visual Circuits
- Title(参考訳): 視覚回路の自動発見
- Authors: Achyuta Rajaram, Neil Chowdhury, Antonio Torralba, Jacob Andreas, Sarah Schwettmann,
- Abstract要約: 本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。
提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
- 参考スコア(独自算出の注目度): 66.99553804855931
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To date, most discoveries of network subcomponents that implement human-interpretable computations in deep vision models have involved close study of single units and large amounts of human labor. We explore scalable methods for extracting the subgraph of a vision model's computational graph that underlies recognition of a specific visual concept. We introduce a new method for identifying these subgraphs: specifying a visual concept using a few examples, and then tracing the interdependence of neuron activations across layers, or their functional connectivity. We find that our approach extracts circuits that causally affect model output, and that editing these circuits can defend large pretrained models from adversarial attacks.
- Abstract(参考訳): これまで、ディープビジョンモデルで人間の解釈可能な計算を実装するネットワークサブコンポーネントの発見のほとんどは、単一ユニットと大量の人的労働の綿密な研究に関わってきた。
本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。
本稿では,これらのサブグラフを識別する新しい手法を提案する。いくつかの例を用いて視覚概念を指定した後,層間におけるニューロン活性化の相互依存性,あるいはそれらの機能的接続をトレースする。
提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
関連論文リスト
- Neural Clustering based Visual Representation Learning [61.72646814537163]
クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。
本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。
FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
論文 参考訳(メタデータ) (2024-03-26T06:04:50Z) - Manipulating Feature Visualizations with Gradient Slingshots [46.20447646518049]
モデルアーキテクチャを変更することなく特徴可視化を操作する新しい手法を提案する。
いくつかのニューラルネットワークモデルにおいて,本手法の有効性を評価し,特定のニューロンの機能を隠す能力を示す。
論文 参考訳(メタデータ) (2024-01-11T18:57:17Z) - SPADE: Sparsity-Guided Debugging for Deep Neural Networks [39.50058754026165]
解釈可能性(英: Interpretability)は、ディープラーニング理論と実践の交差における重要なオープンゴールの1つである。
本研究では,サンプル対象プルーニングを用いて,サンプル上でのネットワーク実行の"トレース"を提供するSPADEを提案する。
以上の結果から,複数面ニューロンを切断し,一貫した解釈性の向上が期待できることがわかった。
論文 参考訳(メタデータ) (2023-10-06T18:28:33Z) - The Relational Bottleneck as an Inductive Bias for Efficient Abstraction [3.19883356005403]
ニューラルネットワークはアーキテクチャを通して、個々の入力の属性ではなく、知覚的入力間の関係に焦点を絞っていることを示す。
データ効率のよい方法で抽象化を誘導するために、このアプローチを用いたモデルのファミリーをレビューする。
論文 参考訳(メタデータ) (2023-09-12T22:44:14Z) - Sample-Efficient Learning of Novel Visual Concepts [7.398195748292981]
最先端のディープラーニングモデルは、数ショットで新しいオブジェクトを認識するのに苦労している。
我々は,記号的知識グラフを最先端認識モデルに組み込むことで,効果的に数発の分類を行うことができることを示す。
論文 参考訳(メタデータ) (2023-06-15T20:24:30Z) - Exploiting Large Neuroimaging Datasets to Create Connectome-Constrained
Approaches for more Robust, Efficient, and Adaptable Artificial Intelligence [4.998666322418252]
我々は、脳の地図を含む大きなニューロイメージングデータセットを利用するパイプラインを構想する。
我々は,繰り返しるサブサーキットやモチーフの発見手法を開発した。
第3に、チームはフルーツフライコネクトームのメモリ形成の回路を分析し、新しい生成的リプレイアプローチの設計を可能にした。
論文 参考訳(メタデータ) (2023-05-26T23:04:53Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳(メタデータ) (2022-04-09T16:41:53Z) - Explainable Adversarial Attacks in Deep Neural Networks Using Activation
Profiles [69.9674326582747]
本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。
これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
論文 参考訳(メタデータ) (2021-03-18T13:04:21Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。