論文の概要: Non-Uniform Interpolation in Integrated Gradients for Low-Latency Explainable-AI

• arxiv url: http://arxiv.org/abs/2302.11107v1
• Date: Wed, 22 Feb 2023 03:03:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 16:26:20.476158
• Title: Non-Uniform Interpolation in Integrated Gradients for Low-Latency Explainable-AI
• Title（参考訳）: 低レイテンシ説明可能なAIのための積分勾配における不均一補間
• Authors: Ashwin Bhat, Arijit Raychowdhury
• Abstract要約: IG(Integrated Gradients)は、関連するスコアを入力機能に属性付けるXAIアルゴリズムである。 リアルタイムXAIを阻害する説明を生成するには、かなりの計算オーバーヘッドがある。 ベースラインの一様最適化に取って代わるIG属性スコアを計算するための,新しい一様でないスキームを提案する。
• 参考スコア（独自算出の注目度）: 2.048335092363435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There has been a surge in Explainable-AI (XAI) methods that provide insights into the workings of Deep Neural Network (DNN) models. Integrated Gradients (IG) is a popular XAI algorithm that attributes relevance scores to input features commensurate with their contribution to the model's output. However, it requires multiple forward \& backward passes through the model. Thus, compared to a single forward-pass inference, there is a significant computational overhead to generate the explanation which hinders real-time XAI. This work addresses the aforementioned issue by accelerating IG with a hardware-aware algorithm optimization. We propose a novel non-uniform interpolation scheme to compute the IG attribution scores which replaces the baseline uniform interpolation. Our algorithm significantly reduces the total interpolation steps required without adversely impacting convergence. Experiments on the ImageNet dataset using a pre-trained InceptionV3 model demonstrate \textit{2.6-3.6}$\times$ performance speedup on GPU systems for iso-convergence. This includes the minimal \textit{0.2-3.2}\% latency overhead introduced by the pre-processing stage of computing the non-uniform interpolation step-sizes.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)モデルの動作に関する洞察を提供する、説明可能なAI(XAI)メソッドが急増している。 IG(Integrated Gradients)は、モデル出力へのコントリビューションと相反する入力特徴に関連性スコアを属性付けるXAIアルゴリズムである。 しかし、モデルを通過するには複数の前進および後進が必要である。 したがって、単一のフォワードパス推論と比較して、リアルタイムxaiを妨げる説明を生成するための計算上のオーバーヘッドは大きい。 本研究は、ハードウェア対応アルゴリズム最適化によるIGの高速化による上記の問題に対処する。 ベースラインの一様補間を置き換えるIG属性スコアを計算するための,新しい一様補間手法を提案する。 本アルゴリズムは,収束に悪影響を及ぼすことなく,必要な補間ステップを著しく削減する。 事前トレーニングされたInceptionV3モデルを用いたImageNetデータセットの実験では、同値収束のためのGPUシステム上でのパフォーマンスの高速化が実証されている。 これには、非一様補間ステップサイズを計算する前処理段階によって導入された最小の \textit{0.2-3.2}\% 遅延オーバーヘッドが含まれる。

関連論文リスト

• Limited Memory Online Gradient Descent for Kernelized Pairwise Learning with Dynamic Averaging [18.843097436906618]
  実例の独立性を必要としない軽量なOGDアルゴリズムを導入し、カーネル対学習に一般化する。 提案アルゴリズムは,ランダムな例と過去のデータを表す移動平均に基づいて勾配を構築し,その結果,O(T)$の複雑さに縛られたサブ線形後悔が生じる。 実世界のデータセットによるいくつかの実験では、複雑性技術がオフラインおよびオンラインシナリオでカーネルと線形勾配を上回ることが示されている。
  論文  参考訳（メタデータ） (2024-02-02T05:21:50Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Error-Aware Spatial Ensembles for Video Frame Interpolation [50.63021118973639]
  近年,ビデオフレーム(VFI)アルゴリズムは,データ駆動アルゴリズムと実装の両面で前例のない進歩により,大幅に改善されている。 近年の研究では、挑戦的なVFIシナリオに対処する手段として、高度な動き推定や新しいワープ手法が導入されている。 本研究は、光フローとIEの相関関係を詳細に検討することにより、中間フレームを異なるIEレベルに対応する異なる領域に分割する新しいエラー予測指標を提案する。
  論文  参考訳（メタデータ） (2022-07-25T16:15:38Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Scalable Optimal Transport in High Dimensions for Graph Distances, Embedding Alignment, and More [7.484063729015126]
  最適輸送のためのコスト行列の2つの効率的な対数線形時間近似を提案する。 これらの近似は、複雑な高次元空間に対してもよく機能するエントロピー規則化OTに対する一般的な対数線形時間アルゴリズムを可能にする。 グラフ距離回帰のために,グラフニューラルネットワーク(GNN)と拡張シンクホーンを組み合わせたグラフトランスポートネットワーク(GTN)を提案する。
  論文  参考訳（メタデータ） (2021-07-14T17:40:08Z)
• Improved CNN-based Learning of Interpolation Filters for Low-Complexity Inter Prediction in Video Coding [5.46121027847413]
  本稿では,ニューラルネットワークを用いた新しい予測手法を提案する。 新たなトレーニングフレームワークにより、各ネットワークブランチは特定の分数シフトに類似することができる。 Versatile Video Coding (VVC)テストモデルで実装されると、0.77%、1.27%、および2.25%のBDレートの節約が達成される。
  論文  参考訳（メタデータ） (2021-06-16T16:48:01Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)
• A Lagrangian Approach to Information Propagation in Graph Neural Networks [21.077268852378385]
  本稿では,グラフニューラルネットワーク(GNN)モデルに対する状態計算と学習アルゴリズムの新たなアプローチを提案する。 状態収束手順は、制約満足度機構によって暗黙的に表現され、学習手順の各エポックに対して別々の反復フェーズを必要としない。 実際、計算構造はウェイト、ニューラルアウトプット(ノード状態)、ラグランジュ乗数からなる随伴空間におけるラグランジアンのサドル点の探索に基づいている。
  論文  参考訳（メタデータ） (2020-02-18T16:13:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。