論文の概要: HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2102.02515v1
• Date: Thu, 4 Feb 2021 10:00:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 22:16:36.143567
• Title: HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep Neural Networks
• Title（参考訳）: HYDRA:深層ニューラルネットワークの解釈のための超勾配データ関連解析
• Authors: Yuanyuan Chen, Boyang Li, Han Yu, Pengcheng Wu, Chunyan Miao
• Abstract要約: 本稿では、深層ニューラルネットワーク(DNN)による予測をトレーニングデータの効果として解釈する高次データ関連分析(HYDRA)を提案する。 HYDRAは、トレーニング軌跡全体を通して、テストデータポイントに対するトレーニングデータの貢献を評価する。 さらに,HyDRAは,データのコントリビューションを正確に推定し,ノイズのあるデータラベルを検出することで,影響関数よりも優れていることを定量的に示す。
• 参考スコア（独自算出の注目度）: 51.143054943431665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The behaviors of deep neural networks (DNNs) are notoriously resistant to human interpretations. In this paper, we propose Hypergradient Data Relevance Analysis, or HYDRA, which interprets the predictions made by DNNs as effects of their training data. Existing approaches generally estimate data contributions around the final model parameters and ignore how the training data shape the optimization trajectory. By unrolling the hypergradient of test loss w.r.t. the weights of training data, HYDRA assesses the contribution of training data toward test data points throughout the training trajectory. In order to accelerate computation, we remove the Hessian from the calculation and prove that, under moderate conditions, the approximation error is bounded. Corroborating this theoretical claim, empirical results indicate the error is indeed small. In addition, we quantitatively demonstrate that HYDRA outperforms influence functions in accurately estimating data contribution and detecting noisy data labels. The source code is available at https://github.com/cyyever/aaai_hydra_8686.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の振る舞いは、人間の解釈に強く抵抗します。 本稿では,DNNによる予測をトレーニングデータの影響として解釈するHypergradient Data Relevance Analysis(HYDRA)を提案する。 既存のアプローチでは、最終的なモデルパラメータに関するデータコントリビューションを推定し、トレーニングデータが最適化軌道をどのように形成するかを無視する。 テスト損失の過度な低下を解き放つことで トレーニングデータの重み付けは、トレーニング軌跡を通してテストデータポイントへのトレーニングデータの寄与度を評価する。 計算を加速するために、計算からヘッシアンを取り除き、適度な条件下で近似誤差が有界であることを証明する。 この理論的な主張を裏付ける実証的な結果は、誤差は確かに小さいことを示している。 また,データ寄与度を正確に推定し,ノイズデータラベルの検出において,hydraが影響関数を上回ることを定量的に示す。 ソースコードはhttps://github.com/cyyever/aaai_hydra_8686で入手できる。

関連論文リスト

• An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation [2.517043342442487]
  深層生成学習は、特定のMLモデルを使用して、既存のデータの基盤となる分布を学習し、実際のデータに似た合成サンプルを生成する。 本研究では,変分オートエンコーダ(VAE)を用いた深部生成モデルを用いて,データ拡張の有効性を評価することを目的とする。 本研究では,拡張データを用いてトレーニングしたディープニューラルネットワーク(DNN)モデルの予測において,データ拡張が精度の向上につながるかどうかを検討した。
  論文  参考訳（メタデータ） (2024-10-24T18:15:48Z)
• DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
  ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。 本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。 我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-25T08:16:21Z)
• Dataset Distillation: A Comprehensive Review [76.26276286545284]
  データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。 本稿ではDDの最近の進歩とその応用について概説する。
  論文  参考訳（メタデータ） (2023-01-17T17:03:28Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
  グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。 グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。 実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。 ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。 分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-20T14:23:54Z)
• Influence-guided Data Augmentation for Neural Tensor Completion [21.625908410873944]
  本稿では,ニューラルテンソル完了法の予測精度を高める汎用データ拡張フレームワークであるDAINを提案する。 本稿では、DAINが、神経テンソル完了の計算精度を高めるという点で、すべてのデータ拡張ベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-23T15:38:59Z)
• A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs [11.152761263415046]
  本稿では,深層ニューラルネットワーク(DNN)のトレーニングデータ量と一般化誤差のスケールについて考察する。 我々は、ディープネットワークに保持され、到達不能な容量尺度に依存しない一般化誤差の推定を導出する。
  論文  参考訳（メタデータ） (2021-05-05T05:14:08Z)
• Artificial Neural Networks to Impute Rounded Zeros in Compositional Data [0.0]
  近年, 深層学習の手法が普及しているが, 構成データ分析には至っていない。 本稿では,人工ニューラルネットワークに基づく円周零点のインプット法を提案する。 annは、適度なサイズで丸められたゼロのデータセットを暗示するときに、競争力があるか、あるいはパフォーマンスが良いことを示すことができる。
  論文  参考訳（メタデータ） (2020-12-18T15:31:23Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。