論文の概要: A Rigorous Study Of The Deep Taylor Decomposition

• arxiv url: http://arxiv.org/abs/2211.08425v1
• Date: Mon, 14 Nov 2022 10:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 13:43:13.266706
• Title: A Rigorous Study Of The Deep Taylor Decomposition
• Title（参考訳）: 深いテイラー分解の厳密な研究
• Authors: Leon Sixt, Tim Landgraf
• Abstract要約: Saliencyメソッドは、サンプルの最も健全な特徴を強調して、ディープニューラルネットワークの説明を試みる。 広く使われている方法はディープ・テイラー分解(Deep Taylor Decomposition,DTD)と呼ばれる理論的枠組みに基づいている。 しかし、最近の研究により、これらの手法はネットワークの深い層から独立しており、低レベルの画像構造にのみ反応するように見えることが判明した。
• 参考スコア（独自算出の注目度）: 9.741457879623326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Saliency methods attempt to explain deep neural networks by highlighting the most salient features of a sample. Some widely used methods are based on a theoretical framework called Deep Taylor Decomposition (DTD), which formalizes the recursive application of the Taylor Theorem to the network's layers. However, recent work has found these methods to be independent of the network's deeper layers and appear to respond only to lower-level image structure. Here, we investigate the DTD theory to better understand this perplexing behavior and found that the Deep Taylor Decomposition is equivalent to the basic gradient$\times$input method when the Taylor root points (an important parameter of the algorithm chosen by the user) are locally constant. If the root points are locally input-dependent, then one can justify any explanation. In this case, the theory is under-constrained. In an empirical evaluation, we find that DTD roots do not lie in the same linear regions as the input - contrary to a fundamental assumption of the Taylor theorem. The theoretical foundations of DTD were cited as a source of reliability for the explanations. However, our findings urge caution in making such claims.
• Abstract（参考訳）: Saliencyメソッドは、サンプルの最も健全な特徴を強調して、ディープニューラルネットワークの説明を試みる。 広く使われている手法はディープ・テイラー分解(Deep Taylor Decomposition, DTD)と呼ばれる理論的な枠組みに基づいており、テイラー定理のネットワーク層への再帰的適用を定式化している。 しかし、最近の研究により、これらの手法はネットワークの深い層から独立しており、低レベルの画像構造にのみ対応していることがわかった。 本稿では,dtd理論を解析し,この複雑化挙動をよりよく理解し,テイラー根点(ユーザが選択したアルゴリズムの重要なパラメータ)が局所定数である場合,深いテイラー分解は基本勾配$\times$input法と同値であることが判明した。 ルートポイントが局所的な入力依存であれば、説明を正当化することができる。 この場合、理論は未定である。 経験的評価では、dtd の根はテイラーの定理の基本的な仮定に対する入力コントラストと同じ線形領域には存在しないことが分かる。 DTDの理論的基礎は説明の信頼性の源として引用された。 しかし,このような主張には注意を促した。

関連論文リスト

• Kernel Approximation of Fisher-Rao Gradient Flows [52.154685604660465]
  本稿では,フィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,流れ方程式,および核近似に関する厳密な研究を行う。 具体的には、フィッシャー・ラオ幾何学とその様々なカーネルに基づく近似に注目し、原理的な理論的枠組みを開発する。
  論文  参考訳（メタデータ） (2024-10-27T22:52:08Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• A Convergence Theory for Federated Average: Beyond Smoothness [28.074273047592065]
  フェデレートラーニングにより、大量のエッジコンピューティングデバイスが、データ共有を併用せずにモデルを学習できるようになる。 この設定における主要なアルゴリズムとして、ローカルデバイス上でGradient Descent(SGD)を並列に実行するFederated Average FedAvgが広く使用されている。 本稿では,フェデレートラーニングに関する理論的収束研究について述べる。
  論文  参考訳（メタデータ） (2022-11-03T04:50:49Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
  本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。 我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
  論文  参考訳（メタデータ） (2021-01-18T15:40:27Z)
• Gradient Descent for Deep Matrix Factorization: Dynamics and Implicit Bias towards Low Rank [1.9350867959464846]
  ディープラーニングでは、勾配発散は、よく一般化する解を好む傾向にある。 本稿では,線形ネットワークの簡易化における勾配降下のダイナミクスと推定問題について解析する。
  論文  参考訳（メタデータ） (2020-11-27T15:08:34Z)
• A Neural Network Perturbation Theory Based on the Born Series [0.0]
  ディープニューラルネットワーク(DNN)のテイラー係数は、主に解釈可能性研究の光に現れる。 このギャップは、ニューラルネットワーク(NN)テイラー展開の一般的な定式化を動機付けている。 NNは、主に対象関数のテイラー展開の先頭順にその導関数を適応することを示す。
  論文  参考訳（メタデータ） (2020-09-07T15:54:27Z)
• A Neural Network Based on First Principles [13.554038901140949]
  ニューラルネットワークは、各層が線形次元還元変換から始まると仮定して、第一原理から導かれる。 この手法は最大エントロピー(MaxEnt)の原理に訴え、各層の入力データの後方分布を求める。
  論文  参考訳（メタデータ） (2020-02-18T10:16:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。