論文の概要: Explaining Deep Learning Representations by Tracing the Training Process

• arxiv url: http://arxiv.org/abs/2109.05880v1
• Date: Mon, 13 Sep 2021 11:29:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:28:46.524208
• Title: Explaining Deep Learning Representations by Tracing the Training Process
• Title（参考訳）: 学習過程の追跡による深層学習表現の説明
• Authors: Lukas Pfahler, Katharina Morik
• Abstract要約: 本稿では,ディープニューラルネットワークの決定を記述した新しい説明法を提案する。 本研究では,深層ネットワークの各層における中間表現がどのように洗練されているかを検討した。 提案手法は,説明として使用可能な,高度に代表的なトレーニングインスタンスを同定する。
• 参考スコア（独自算出の注目度）: 10.774699463547439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel explanation method that explains the decisions of a deep neural network by investigating how the intermediate representations at each layer of the deep network were refined during the training process. This way we can a) find the most influential training examples during training and b) analyze which classes attributed most to the final representation. Our method is general: it can be wrapped around any iterative optimization procedure and covers a variety of neural network architectures, including feed-forward networks and convolutional neural networks. We first propose a method for stochastic training with single training instances, but continue to also derive a variant for the common mini-batch training. In experimental evaluations, we show that our method identifies highly representative training instances that can be used as an explanation. Additionally, we propose a visualization that provides explanations in the form of aggregated statistics over the whole training process.
• Abstract（参考訳）: 本稿では,深層ネットワークの各層における中間表現がどのように洗練されたかを調べることにより,深層ニューラルネットワークの判断を説明する新しい説明法を提案する。 このようにして a)トレーニング中に最も影響力のあるトレーニング例を見つけること b) 最終表現に最も寄与するクラスを分析する。 提案手法は,任意の反復的最適化手順をラップして,フィードフォワードネットワークや畳み込みニューラルネットワークなど,さまざまなニューラルネットワークアーキテクチャをカバーすることができる。 まず,単一トレーニングインスタンスを用いた確率的トレーニング手法を提案するが,共通ミニバッチトレーニングの変種も引き続き導出する。 実験評価において,本手法は説明として使用できる高度に代表的なトレーニングインスタンスを識別できることを示す。 さらに,学習過程全体にわたる集計統計の形での説明を提供する可視化も提案する。

関連論文リスト

• A Quantitative Approach to Predicting Representational Learning and Performance in Neural Networks [5.544128024203989]
  ニューラルネットワークの主な特性は、タスクを解決するために入力情報の表現と操作を学ぶ方法である。 本稿では,学習した表現を分析し,予測するための擬似カーネルツールを提案する。
  論文  参考訳（メタデータ） (2023-07-14T18:39:04Z)
• Exploring Low Rank Training of Deep Neural Networks [49.18122605463354]
  低ランクのディープニューラルネットワークのトレーニングは、メモリ消費とトレーニング時間の両方の観点から、非リファクタリングトレーニングよりも効率がよい。 我々は、実際にうまく機能する技術を分析し、GPT2のようなモデルに対する広範囲な改善を通じて、この分野における共通の信念を偽示する証拠を提供する。
  論文  参考訳（メタデータ） (2022-09-27T17:43:45Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
  フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。 本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。 本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-18T16:59:35Z)
• Targeted Gradient Descent: A Novel Method for Convolutional Neural Networks Fine-tuning and Online-learning [9.011106198253053]
  畳み込みニューラルネットワーク(ConvNet)は通常、同じ分布から引き出された画像を使用してトレーニングされ、テストされる。 ConvNetをさまざまなタスクに一般化するには、さまざまなタスクから描画されたイメージからなる完全なトレーニングデータセットが必要になることが多い。 本稿では,従来のタスクからデータを再検討することなく,事前学習したネットワークを新しいタスクに拡張可能な,新たな微調整手法であるTGDを提案する。
  論文  参考訳（メタデータ） (2021-09-29T21:22:09Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Teaching with Commentaries [108.62722733649542]
  コメントとメタ情報を用いたフレキシブルな教育フレームワークを提案する。 解説はトレーニングのスピードと/またはパフォーマンスを改善することができる。 パフォーマンスのメリットを得るために、新しいモデルをトレーニングするときに、コメンタリを再利用できる。
  論文  参考訳（メタデータ） (2020-11-05T18:52:46Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。