論文の概要: Shapley-Guided Neural Repair Approach via Derivative-Free Optimization

• arxiv url: http://arxiv.org/abs/2604.00422v1
• Date: Wed, 01 Apr 2026 03:05:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.81166
• Title: Shapley-Guided Neural Repair Approach via Derivative-Free Optimization
• Title（参考訳）: 微分自由最適化によるShapley-Guided Neural repair Approach
• Authors: Xinyu Sun, Wanwei Liu, Haoang Chi, Tingyu Chen, Xiaoguang Mao, Shangwen Wang, Lei Bu, Jingyi Wang, Yang Tan, Zhenyi Qi,
• Abstract要約: 既存のアプローチは主にリトレーニング、最適化、制約、検索アルゴリズムを含む。 本研究では,解釈可能なフォールトローカライゼーションとデリバティブフリー最適化戦略を統合したSHARPENを提案する。
• 参考スコア（独自算出の注目度）: 21.274208005071277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: DNNs are susceptible to defects like backdoors, adversarial attacks, and unfairness, undermining their reliability. Existing approaches mainly involve retraining, optimization, constraint-solving, or search algorithms. However, most methods rely on gradient calculations, restricting applicability to specific activation functions (e.g., ReLU), or use search algorithms with uninterpretable localization and repair. Furthermore, they often lack generalizability across multiple properties. We propose SHARPEN, integrating interpretable fault localization with a derivative-free optimization strategy. First, SHARPEN introduces a Deep SHAP-based localization strategy quantifying each layer's and neuron's marginal contribution to erroneous outputs. Specifically, a hierarchical coarse-to-fine approach reranks layers by aggregated impact, then locates faulty neurons/filters by analyzing activation divergences between property-violating and benign states. Subsequently, SHARPEN incorporates CMA-ES to repair identified neurons. CMA-ES leverages a covariance matrix to capture variable dependencies, enabling gradient-free search and coordinated adjustments across coupled neurons. By combining interpretable localization with evolutionary optimization, SHARPEN enables derivative-free repair across architectures, being less sensitive to gradient anomalies and hyperparameters. We demonstrate SHARPEN's effectiveness on three repair tasks. Balancing property repair and accuracy preservation, it outperforms baselines in backdoor removal (+10.56%), adversarial mitigation (+5.78%), and unfairness repair (+11.82%). Notably, SHARPEN handles diverse tasks, and its modular design is plug-and-play with different derivative-free optimizers, highlighting its flexibility.
• Abstract（参考訳）: DNNは、バックドアや敵攻撃、不公平といった欠陥の影響を受けやすく、信頼性を損なう。 既存のアプローチは主にリトレーニング、最適化、制約解決、検索アルゴリズムを含む。 しかし、ほとんどの手法は勾配計算、特定のアクティベーション関数(例えばReLU)の適用性を制限すること、あるいは解釈不能な局所化と修復を伴う探索アルゴリズムを使用する。 さらに、それらは複数の性質にまたがる一般化性に欠けることが多い。 本研究では,解釈可能なフォールトローカライゼーションとデリバティブフリー最適化戦略を統合したSHARPENを提案する。 まず、SHARPENはディープSHAPに基づく局所化戦略を導入し、各層とニューロンが誤出力に対する限界寄与を定量化する。 具体的には、階層的な粗大きめのアプローチは、凝集した衝撃によって層をリランクし、その後、プロパティ違反状態と良性状態の間の活性化の相違を分析することによって、欠陥のあるニューロン/フィルターを見つける。 その後、SHARPENはCMA-ESを組み込んで神経細胞を修復する。 CMA-ESは共分散行列を利用して変数依存を捕捉し、結合ニューロン間の勾配のない探索と調整を可能にする。 解釈可能なローカライゼーションと進化最適化を組み合わせることで、SHARPENはアーキテクチャ全体のデリバティブフリーな修復を可能にし、勾配異常やハイパーパラメータに敏感ではない。 3つの補修作業におけるSHARPENの有効性を実証する。 資産の修復と精度の維持のバランスを保ち、バックドア除去(+10.56%)、敵の緩和(+5.78%)、不公平修復(+11.82%)においてベースラインを上回っている。 SHARPENは様々なタスクを処理し、モジュラーデザインは様々なデリバティブフリーオプティマイザでプラグ&プレイされており、柔軟性を強調している。

関連論文リスト

• IGLU: The Integrated Gaussian Linear Unit Activation Function [13.305282275999778]
  半正規混合分布の下でGELUゲートのスケール混合として導出されるパラメトリック活性化関数IGLUを導入する。 IGLUは、ReLUとGELUのベースラインに対して、視覚と言語データセットの両方において、競争力または優れた性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-03-06T20:28:08Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• NIRVANA: Structured pruning reimagined for large language models compression [50.651730342011014]
  直近のゼロショット保存精度と頑健な微調整のバランスをとるために, NIRVANAを導入した。 構造化プルーニングによって引き起こされる固有の課題にさらに対処するため、NIRVANAは層やモジュール間の適応的な空間割当機構を取り入れている。 Llama3, Qwen, T5モデルで行った実験では、NIRVANAは等価な空間制約の下で既存の構造化プルーニング法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-17T17:59:00Z)
• Targeted Deep Architectures: A TMLE-Based Framework for Robust Causal Inference in Neural Networks [41.07059178065932]
  ネットワークのパラメータ空間に直接、TMLE(Targeted Likelihood Estimation)を直接埋め込む新しいフレームワークであるTDA(Targeted Deep Architectures)を提案する。 TDAはモデルパラメータを分割し、ターゲットの勾配に沿って反復的に更新する。 この手順は、一階偏差を除去し、有効な信頼区間を生成するプラグイン推定を与える。
  論文  参考訳（メタデータ） (2025-07-16T17:24:06Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• An Accelerated Alternating Partial Bregman Algorithm for ReLU-based Matrix Decomposition [0.0]
  本稿では,非負行列上に補正されたスパース低ランク特性について検討する。 本稿では,クラスタリングと圧縮タスクに有用な構造を取り入れた新しい正規化項を提案する。 我々は、任意の$Lge 1$に対して常に持つ$L$-smoothプロパティを維持しながら、対応する閉形式解を導出する。
  論文  参考訳（メタデータ） (2025-03-04T08:20:34Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
  非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。 我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。 我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
  論文  参考訳（メタデータ） (2022-05-03T09:23:07Z)
• Learning DNN networks using un-rectifying ReLU with compressed sensing application [4.111899441919165]
  この研究におけるReLUネットワークは未修正である。 実験では, 圧縮センシングリカバリ問題に対する新しいアプローチにより, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2021-01-18T09:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。