論文の概要: Concept Evolution in Deep Learning Training: A Unified Interpretation
Framework and Discoveries
- arxiv url: http://arxiv.org/abs/2203.16475v4
- Date: Tue, 22 Aug 2023 19:00:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 11:29:40.870636
- Title: Concept Evolution in Deep Learning Training: A Unified Interpretation
Framework and Discoveries
- Title（参考訳）: ディープラーニング学習における概念進化--統一解釈枠組みと発見
- Authors: Haekyu Park, Seongmin Lee, Benjamin Hoover, Austin P. Wright, Omar
Shaikh, Rahul Duggal, Nilaksh Das, Kevin Li, Judy Hoffman, Duen Horng Chau
- Abstract要約: ConceptEvoはディープニューラルネットワーク(DNN)のための統合解釈フレームワーク
それは、訓練中に学んだ概念の発端と進化を明らかにします。
これは、ConvNeXtのような現代のDNNアーキテクチャと、VGGsやInceptionV3のような古典的なDNNの両方に適用できる。
- 参考スコア（独自算出の注目度）: 45.88354622464973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present ConceptEvo, a unified interpretation framework for deep neural
networks (DNNs) that reveals the inception and evolution of learned concepts
during training. Our work addresses a critical gap in DNN interpretation
research, as existing methods primarily focus on post-training interpretation.
ConceptEvo introduces two novel technical contributions: (1) an algorithm that
generates a unified semantic space, enabling side-by-side comparison of
different models during training, and (2) an algorithm that discovers and
quantifies important concept evolutions for class predictions. Through a
large-scale human evaluation and quantitative experiments, we demonstrate that
ConceptEvo successfully identifies concept evolutions across different models,
which are not only comprehensible to humans but also crucial for class
predictions. ConceptEvo is applicable to both modern DNN architectures, such as
ConvNeXt, and classic DNNs, such as VGGs and InceptionV3.
- Abstract（参考訳）: 本稿では,学習中の学習概念のインセプションと進化を明らかにする,ディープニューラルネットワーク(dnn)のための統合解釈フレームワークであるconceptevoを提案する。
我々の研究はDNN解釈研究における重要なギャップに対処するものであり、既存の手法は主に後学習の解釈に焦点を当てている。
conceptevoは、2つの新しい技術的貢献を紹介している:(1)統一的な意味空間を生成し、トレーニング中に異なるモデルの並べて比較できるアルゴリズム、(2)クラス予測のための重要な概念進化を発見し、定量化するアルゴリズム。
大規模な人的評価と定量的実験を通じて,ConceptEvoは,人間にとって理解しやすいだけでなく,クラスの予測にも不可欠である,異なるモデル間の概念進化の同定に成功した。
ConceptEvoは、ConvNeXtのような現代のDNNアーキテクチャと、VGGsやInceptionV3のような古典的なDNNの両方に適用できる。
関連論文リスト
- A Self-explaining Neural Architecture for Generalizable Concept Learning [29.932706137805713]
現在,SOTA の概念学習アプローチは,概念の忠実さの欠如と,概念の相互運用の限界という2つの大きな問題に悩まされている。
ドメイン間の概念学習のための新しい自己説明型アーキテクチャを提案する。
提案手法は,現在広く使われている4つの実世界のデータセットに対するSOTA概念学習手法に対して有効であることを示す。
論文 参考訳（メタデータ） (2024-05-01T06:50:18Z) - A survey on Concept-based Approaches For Model Improvement [2.1516043775965565]
概念は人間の思考基盤として知られている。
ディープニューラルネットワーク(DNN)における様々な概念表現とその発見アルゴリズムの体系的レビューと分類について述べる。
また,これらの手法を総合的に調査した最初の論文として,概念に基づくモデル改善文献について詳述する。
論文 参考訳（メタデータ） (2024-03-21T17:09:20Z) - ConcEPT: Concept-Enhanced Pre-Training for Language Models [57.778895980999124]
ConcEPTは、概念知識を事前訓練された言語モデルに注入することを目的としている。
これは、事前訓練されたコンテキストで言及されたエンティティの概念を予測するために、外部エンティティの概念予測を利用する。
実験の結果,ConcEPTは概念強化事前学習により概念知識を向上することがわかった。
論文 参考訳（メタデータ） (2024-01-11T05:05:01Z) - Interpretable Neural-Symbolic Concept Reasoning [7.1904050674791185]
概念に基づくモデルは、人間の理解可能な概念のセットに基づいてタスクを学習することでこの問題に対処することを目的としている。
本稿では,概念埋め込みに基づく最初の解釈可能な概念ベースモデルであるDeep Concept Reasoner (DCR)を提案する。
論文 参考訳（メタデータ） (2023-04-27T09:58:15Z) - Discovering Latent Concepts Learned in BERT [21.760620298330235]
事前学習されたBERTモデルに潜伏概念が存在するかを検討する。
また、174のコンセプトラベルと1Mのアノテーション付きインスタンスからなる新しいBERT ConceptNetデータセット(BCN)もリリースした。
論文 参考訳（メタデータ） (2022-05-15T09:45:34Z) - Convolutional Cobweb: A Model of Incremental Learning from 2D Images [0.0]
本稿では,視覚画像のラベルを漸進的に学習し,予測できる新しい概念形成手法を提案する。
我々は、MNISTの桁認識タスクの漸進的な変化に適用することで、この新しいアプローチを実験的に評価する。
論文 参考訳（メタデータ） (2022-01-18T04:39:31Z) - A Minimalist Dataset for Systematic Generalization of Perception,
Syntax, and Semantics [131.93113552146195]
我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。
HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。
我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
論文 参考訳（メタデータ） (2021-03-02T01:32:54Z) - Formalising Concepts as Grounded Abstractions [68.24080871981869]
このレポートは、表現学習が生データから概念を誘導する方法を示しています。
このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
論文 参考訳（メタデータ） (2021-01-13T15:22:01Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳（メタデータ） (2020-06-30T14:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。