論文の概要: DEPARA: Deep Attribution Graph for Deep Knowledge Transferability
- arxiv url: http://arxiv.org/abs/2003.07496v1
- Date: Tue, 17 Mar 2020 02:07:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 21:23:01.254818
- Title: DEPARA: Deep Attribution Graph for Deep Knowledge Transferability
- Title（参考訳）: DEPARA:Deep Attribution Graph for Deep Knowledge Transferability
- Authors: Jie Song, Yixin Chen, Jingwen Ye, Xinchao Wang, Chengchao Shen, Feng
Mao, Mingli Song
- Abstract要約: 本稿では,PR-DNNから学んだ知識の伝達可能性を検討するために,DreP Attribution gRAph (DEPARA)を提案する。
DEPARAでは、ノードは入力に対応し、PR-DNNの出力に関してベクトル化された属性マップで表現される。
2つのPR-DNNの知識伝達性は、対応するDEPARAの類似性によって測定される。
- 参考スコア（独自算出の注目度）: 91.06106524522237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exploring the intrinsic interconnections between the knowledge encoded in
PRe-trained Deep Neural Networks (PR-DNNs) of heterogeneous tasks sheds light
on their mutual transferability, and consequently enables knowledge transfer
from one task to another so as to reduce the training effort of the latter. In
this paper, we propose the DEeP Attribution gRAph (DEPARA) to investigate the
transferability of knowledge learned from PR-DNNs. In DEPARA, nodes correspond
to the inputs and are represented by their vectorized attribution maps with
regards to the outputs of the PR-DNN. Edges denote the relatedness between
inputs and are measured by the similarity of their features extracted from the
PR-DNN. The knowledge transferability of two PR-DNNs is measured by the
similarity of their corresponding DEPARAs. We apply DEPARA to two important yet
under-studied problems in transfer learning: pre-trained model selection and
layer selection. Extensive experiments are conducted to demonstrate the
effectiveness and superiority of the proposed method in solving both these
problems. Code, data and models reproducing the results in this paper are
available at \url{https://github.com/zju-vipa/DEPARA}.
- Abstract（参考訳）: 異種タスクのPRE訓練深層ニューラルネットワーク(PR-DNN)に符号化された知識間の本質的な相互接続を探索することにより、各タスクから他のタスクへの知識伝達を可能にし、後者のトレーニング労力を削減する。
本稿では,PR-DNNから学んだ知識の伝達可能性を検討するために,DreP Attribution gRAph (DEPARA)を提案する。
DEPARAでは、ノードは入力に対応し、PR-DNNの出力に関してベクトル化された属性マップで表現される。
エッジは入力間の関連性を表し、PR-DNNから抽出された特徴の類似性によって測定される。
2つのPR-DNNの知識伝達性は、対応するDEPARAの類似性によって測定される。
DePARAを転送学習における重要かつ未研究の2つの問題(事前学習モデル選択と層選択)に適用する。
これらの問題を解決するために,提案手法の有効性と優越性を示すため,広範な実験を行った。
この論文で結果を再現するコード、データ、モデルは、 \url{https://github.com/zju-vipa/depara}で利用可能である。
関連論文リスト
- Supervised Gradual Machine Learning for Aspect Category Detection [0.9857683394266679]
アスペクトカテゴリー検出(ACD)は、あるレビュー文の中で暗黙的かつ明示的な側面を識別することを目的としている。
本稿では,Deep Neural Networks (DNN) と Gradual Machine Learning (GML) を教師付き環境で組み合わせることで,ACDタスクに取り組む新しい手法を提案する。
論文 参考訳（メタデータ） (2024-04-08T07:21:46Z) - Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。
最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
論文 参考訳（メタデータ） (2023-07-28T14:51:09Z) - Auxiliary-Tasks Learning for Physics-Informed Neural Network-Based
Partial Differential Equations Solving [13.196871939441273]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)を解くための有望な代理モードとして登場した。
本研究では,4種類の補助タスク学習モードを提供する補助タスク学習ベースのATL-PINNを提案する。
その結果,提案した補助タスク学習モードは解の精度を大幅に向上し,96.62%の最大性能向上を達成できることがわかった。
論文 参考訳（メタデータ） (2023-07-12T13:46:40Z) - Diverse and Faithful Knowledge-Grounded Dialogue Generation via
Sequential Posterior Inference [82.28542500317445]
本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。
他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
論文 参考訳（メタデータ） (2023-06-01T21:23:13Z) - Poster: Link between Bias, Node Sensitivity and Long-Tail Distribution
in trained DNNs [12.404169549562523]
長い尾の分布を持つトレーニングデータセットはディープニューラルネットワーク(DNN)に挑戦する
この研究は、異なる出力クラスに対するノードの感度の変化につながるノードバイアスを特定する。
実世界のデータセットでトレーニングされたネットワークの実証的なケーススタディを用いて、推論を支援する。
論文 参考訳（メタデータ） (2023-03-29T10:49:31Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳（メタデータ） (2022-02-10T09:30:31Z) - CRNNTL: convolutional recurrent neural network and transfer learning for
QSAR modelling [4.090810719630087]
本稿では,QSARモデリングのための畳み込みリカレントニューラルネットワークと伝達学習(CRNNTL)を提案する。
我々の戦略は、特徴抽出のための畳み込みニューラルネットワークと繰り返しニューラルネットワークの両方の利点と、データ拡張手法の利点を生かしている。
論文 参考訳（メタデータ） (2021-09-07T20:04:55Z) - Shifu2: A Network Representation Learning Based Model for
Advisor-advisee Relationship Mining [82.75996880087747]
本稿では,ネットワーク表現学習(NRL)に基づく新しいモデル,すなわちshifu2を提案する。
Shifu2は、コラボレーションネットワークを入力とし、特定アドバイザ・アドバイザー関係を出力とする。
そこで我々は,Shifu2を利用した大規模学術系譜データセットを作成した。
論文 参考訳（メタデータ） (2020-08-17T05:40:06Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳（メタデータ） (2020-03-30T08:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。