論文の概要: Riemann Sum Optimization for Accurate Integrated Gradients Computation

• arxiv url: http://arxiv.org/abs/2410.04118v2
• Date: Sun, 05 Jan 2025 15:30:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:03:54.408071
• Title: Riemann Sum Optimization for Accurate Integrated Gradients Computation
• Title（参考訳）: Riemann Sum Optimization for Accurate Integrated Gradients Computation
• Authors: Swadesh Swain, Shree Singhi,
• Abstract要約: IG(Integrated Gradients)は、ディープニューラルネットワークの出力を入力特徴に寄与させるアルゴリズムである。 サンプル点選択を最適化することにより,これらの誤差を最小限に抑えるフレームワークであるRiemannOptを導入する。 このアルゴリズムは,Blur IG や Guided IG などの派生アルゴリズムと同様に,IG にも適用可能である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Integrated Gradients (IG) is a widely used algorithm for attributing the outputs of a deep neural network to its input features. Due to the absence of closed-form integrals for deep learning models, inaccurate Riemann Sum approximations are used to calculate IG. This often introduces undesirable errors in the form of high levels of noise, leading to false insights in the model's decision-making process. We introduce a framework, RiemannOpt, that minimizes these errors by optimizing the sample point selection for the Riemann Sum. Our algorithm is highly versatile and applicable to IG as well as its derivatives like Blur IG and Guided IG. RiemannOpt achieves up to 20% improvement in Insertion Scores. Additionally, it enables its users to curtail computational costs by up to four folds, thereby making it highly functional for constrained environments.
• Abstract（参考訳）: IG(Integrated Gradients)は、ディープニューラルネットワークの出力を入力特徴に寄与させるアルゴリズムである。 ディープラーニングモデルに対する閉形式積分が存在しないため、不正確なリーマン・サム近似がIGを計算するために用いられる。 これはしばしば、高レベルのノイズという形で望ましくない誤りを生じさせ、モデルの意思決定プロセスに誤った洞察をもたらす。 我々は、リーマン・サムのサンプル点選択を最適化することでこれらの誤差を最小限に抑えるフレームワーク、リーマン・オプトを導入する。 このアルゴリズムは,Blur IG や Guided IG などの派生アルゴリズムと同様に,IG にも適用可能である。 RiemannOptは、インサーションスコアを最大20%改善する。 さらに、ユーザは最大4倍の計算コストを削減できるため、制約のある環境に対して高い機能を実現することができる。

関連論文リスト

• Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
  本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。 我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-22T10:56:52Z)
• Riemannian Bilevel Optimization [35.42472057648458]
  特に,2次情報を回避することを目的とした,バッチおよび勾配に基づく手法に着目する。 本稿では,一階勾配情報を活用する手法である$mathrmRF2SA$を提案し,分析する。 様々な設定の下で、$epsilon$-stationary 点に達するための明示的な収束率を提供する。
  論文  参考訳（メタデータ） (2024-05-22T20:49:01Z)
• Nonconvex Stochastic Bregman Proximal Gradient Method with Application to Deep Learning [9.202586157819693]
  非合成対象函数のロバスト性を最小化する二次法は、典型的には微分可能部分のリプシッツ滑らか性に依存する。 本稿では適応性のみを考慮したBregman(SBPG)手法のファミリーを提案する。 MSBPGは運動量に基づく変種であり、ミニバッチサイズ要求を緩和することで収束感度を高める。
  論文  参考訳（メタデータ） (2023-06-26T08:54:46Z)
• First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
  min-maxアルゴリズムはユークリッド設定で解析されている。 指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
  論文  参考訳（メタデータ） (2022-06-04T18:53:44Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold [7.257751371276488]
  R-ProxSGDとR-ProxSPBは、近位SGDと近位SpiderBoostの一般化である。 R-ProxSPBアルゴリズムは、オンラインの場合で$O(epsilon-3)$ IFOs、有限サムの場合は$O(n+sqrtnepsilon-3)$ IFOsである。
  論文  参考訳（メタデータ） (2020-05-03T23:41:35Z)
• Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization [15.78743548731191]
  多様体非線型性の非線型性の難しさを克服するために、ガウス滑らか化関数のオラクル版を提案する。 ニューラルネットワークに対するロボティクスとブラックボックス攻撃に対するブラックボックス剛性制御における,結果によるアルゴリズムの適用性と実世界の応用を実証する。
  論文  参考訳（メタデータ） (2020-03-25T06:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。