論文の概要: Describe-and-Dissect: Interpreting Neurons in Vision Networks with Language Models

• arxiv url: http://arxiv.org/abs/2403.13771v1
• Date: Wed, 20 Mar 2024 17:33:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 15:58:55.811891
• Title: Describe-and-Dissect: Interpreting Neurons in Vision Networks with Language Models
• Title（参考訳）: Describe-and-Dissect:言語モデルを用いた視覚ネットワークにおけるニューロンの解釈
• Authors: Nicholas Bai, Rahul A. Iyer, Tuomas Oikarinen, Tsui-Wei Weng,
• Abstract要約: Describe-and-Dissect(DnD)は、視覚ネットワークにおける隠されたニューロンの役割を記述する新しい方法である。 DnDは、ラベル付きトレーニングデータや事前定義された概念セットを必要としない複雑な自然言語記述を生成する。
• 参考スコア（独自算出の注目度）: 9.962488213825859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose Describe-and-Dissect (DnD), a novel method to describe the roles of hidden neurons in vision networks. DnD utilizes recent advancements in multimodal deep learning to produce complex natural language descriptions, without the need for labeled training data or a predefined set of concepts to choose from. Additionally, DnD is training-free, meaning we don't train any new models and can easily leverage more capable general purpose models in the future. We have conducted extensive qualitative and quantitative analysis to show that DnD outperforms prior work by providing higher quality neuron descriptions. Specifically, our method on average provides the highest quality labels and is more than 2 times as likely to be selected as the best explanation for a neuron than the best baseline.
• Abstract（参考訳）: 本稿では,視覚ネットワークにおける隠れニューロンの役割を記述する新しい手法として,Describe-and-Dissect (DnD)を提案する。 DnDは、ラベル付きトレーニングデータや事前に定義された概念のセットを必要とせずに、マルチモーダル深層学習の最近の進歩を利用して複雑な自然言語記述を生成する。 さらに、DnDはトレーニングフリーなので、新しいモデルをトレーニングせず、将来もっと有能な汎用モデルを簡単に活用できます。 我々は、DnDがより高品質なニューロン記述を提供することで、先行研究より優れていることを示すために、広範囲な質的、定量的な分析を行った。 特に,本手法は,平均値よりも高い品質のラベルを提供し,ニューロンの最も良い説明法として選択される可能性が2倍以上である。

関連論文リスト

• Can Graph Neural Networks Learn Language with Extremely Weak Text Supervision? [62.12375949429938]
  CLIPパイプラインによる転送可能なグラフニューラルネットワーク(GNN)の構築は、3つの根本的な問題のために難しい。 我々は、マルチモーダル・プロンプト・ラーニングを利用して、事前学習したGNNを下流のタスクやデータに効果的に適応させる。 我々の新しいパラダイムは、グラフプロンプトとテキストプロンプトの両方を同時に学習することで、Large Language Models(LLM)と直接同じ空間にグラフを埋め込む。
  論文  参考訳（メタデータ） (2024-12-11T08:03:35Z)
• NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
  NNsightとNDIFは、非常に大きなニューラルネットワークの科学的研究を可能にするために、タンデムで機能する技術である。 NNsightは、遅延リモート実行を導入するためにPyTorchを拡張したオープンソースのシステムである。 NDIFは、NNsightリクエストを実行するスケーラブルな推論サービスで、GPUリソースと事前トレーニングされたモデルを共有することができる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:01Z)
• Towards Generating Informative Textual Description for Neurons in Language Models [6.884227665279812]
  本稿では,ニューロンにテキスト記述を結び付けるフレームワークを提案する。 特に,提案手法が75%精度@2,50%リコール@2を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-30T04:06:25Z)
• Investigating the Encoding of Words in BERT's Neurons using Feature Textualization [11.943486282441143]
  本稿では,埋め込み語空間におけるニューロンの表現を生成する手法を提案する。 生成した表現は、個々のニューロンにおける符号化された知識についての洞察を与えることができる。
  論文  参考訳（メタデータ） (2023-11-14T15:21:49Z)
• Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks [17.12834153477201]
  スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。 スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。 NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
  論文  参考訳（メタデータ） (2023-03-10T17:09:55Z)
• Leveraging Graph-based Cross-modal Information Fusion for Neural Sign Language Translation [46.825957917649795]
  手話 (SL) は聴覚障害者の母語であり、ほとんどの人が理解できない特別な視覚言語である。 動的グラフに基づくマルチモーダル特徴融合を用いたニューラルSLTモデルを提案する。 我々はまず,マルチモーダル情報を融合したグラフニューラルネットワークをニューラルネットワーク翻訳モデルに導入した。
  論文  参考訳（メタデータ） (2022-11-01T15:26:22Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• CLIP-Dissect: Automatic Description of Neuron Representations in Deep Vision Networks [7.8858544147141085]
  視覚ネットワーク内の個々の隠れニューロンの機能を自動的に記述する新しい手法であるCLIP-Dissectを提案する。 CLIP-Dissectは、前層ニューロンの既存の方法よりも正確な記述を提供する。 CLIP-Dissectは計算効率が良く、ResNet-50の5層から全てのニューロンをわずか4分でラベル付けできる。
  論文  参考訳（メタデータ） (2022-04-23T00:40:02Z)
• Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN [98.4713940310056]
  現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。 最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。 疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-16T02:12:30Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。