論文の概要: Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density
- arxiv url: http://arxiv.org/abs/2407.04370v1
- Date: Fri, 5 Jul 2024 09:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 14:00:01.995864
- Title: Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density
- Title（参考訳）: Smoothing Input Marginal density による非破壊特性のモデル信頼度制御
- Authors: Peiyu Yang, Naveed Akhtar, Mubarak Shah, Ajmal Mian,
- Abstract要約: 信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。
本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 93.32594873253534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trustworthy machine learning necessitates meticulous regulation of model reliance on non-robust features. We propose a framework to delineate and regulate such features by attributing model predictions to the input. Within our approach, robust feature attributions exhibit a certain consistency, while non-robust feature attributions are susceptible to fluctuations. This behavior allows identification of correlation between model reliance on non-robust features and smoothness of marginal density of the input samples. Hence, we uniquely regularize the gradients of the marginal density w.r.t. the input features for robustness. We also devise an efficient implementation of our regularization to address the potential numerical instability of the underlying optimization process. Moreover, we analytically reveal that, as opposed to our marginal density smoothing, the prevalent input gradient regularization smoothens conditional or joint density of the input, which can cause limited robustness. Our experiments validate the effectiveness of the proposed method, providing clear evidence of its capability to address the feature leakage problem and mitigate spurious correlations. Extensive results further establish that our technique enables the model to exhibit robustness against perturbations in pixel values, input gradients, and density.
- Abstract（参考訳）: 信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。
本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
我々のアプローチでは、頑健な特徴属性は一定の一貫性を示すが、非ロバストな特徴属性は変動の影響を受けやすい。
この挙動により、モデル依存が非破壊的特徴と入力サンプルの辺縁密度の滑らかさとを関連付けることができる。
したがって、入力特徴である強靭性の辺密度 w.r.t の勾配を一意に正規化する。
また、最適化プロセスの潜在的な数値不安定性に対処するために、正規化の効率的な実装を考案する。
さらに, 境界密度の平滑化とは対照的に, 入力勾配正規化が条件あるいは結合密度を円滑化させ, 剛性に制限を与える可能性があることを解析的に明らかにした。
提案手法の有効性を検証し,特徴漏洩問題に対処し,突発的相関を緩和できることを示す。
さらに, この手法により, 画素値, 入力勾配, 密度の摂動に対して頑健性を示すことができることを示す。
関連論文リスト
- Conditional Pseudo-Reversible Normalizing Flow for Surrogate Modeling in Quantifying Uncertainty Propagation [11.874729463016227]
付加雑音によって汚染された物理モデルの代理モデルを構築するための条件付き擬似可逆正規化フローを導入する。
トレーニングプロセスは、ノイズと関数に関する事前知識を必要とせずに、入出力ペアからなるデータセットを利用する。
トレーニングされたモデルでは,高い確率領域をトレーニングセットでカバーした条件付き確率密度関数からサンプルを生成することができる。
論文 参考訳（メタデータ） (2024-03-31T00:09:58Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Anomaly Detection with Variance Stabilized Density Estimation [49.46356430493534]
本稿では, 観測試料の確率を最大化するための分散安定化密度推定問題を提案する。
信頼性の高い異常検知器を得るために,分散安定化分布を学習するための自己回帰モデルのスペクトルアンサンブルを導入する。
我々は52のデータセットで広範なベンチマークを行い、我々の手法が最先端の結果につながることを示した。
論文 参考訳（メタデータ） (2023-06-01T11:52:58Z) - Robustness of Energy Landscape Control to Dephasing [0.0]
対数感度関数によって測定された忠実度誤差のロバストさを,デフォーカスプロセスに解析する。
本研究で用いたログ感度計算は異なるが, どちらも, 重み付け誤差の対数感度が従来の性能とロバスト性とのトレードオフをもたらすことを示した。
論文 参考訳（メタデータ） (2023-03-10T01:51:47Z) - Density-Softmax: Efficient Test-time Model for Uncertainty Estimation and Robustness under Distribution Shifts [8.431465371266391]
密度-ソフトマックスは、不確実性推定のためのサンプリング不要な決定論的なフレームワークである。
我々は,このモデルがミニマックス不確実性リスクの解であることを示した。
本手法は,不確実性と堅牢性の観点から,最先端技術と競合する結果を享受する。
論文 参考訳（メタデータ） (2023-02-13T16:21:03Z) - Monotonicity and Double Descent in Uncertainty Estimation with Gaussian
Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。
我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。
また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文 参考訳（メタデータ） (2022-10-14T08:09:33Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳（メタデータ） (2022-02-21T10:36:09Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳（メタデータ） (2022-01-28T22:03:50Z) - Low-rank Characteristic Tensor Density Estimation Part II: Compression
and Latent Density Estimation [31.631861197477185]
生成確率モデルを学習することは、機械学習における中核的な問題である。
本稿では,共同次元化と非パラメトリック密度推定の枠組みを提案する。
提案手法は, 回帰処理, サンプリング, 異常検出において, 極めて有望な結果が得られることを示す。
論文 参考訳（メタデータ） (2021-06-20T00:38:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。