論文の概要: On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality
Perspective
- arxiv url: http://arxiv.org/abs/2304.13836v3
- Date: Thu, 11 May 2023 03:27:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 11:21:38.407463
- Title: On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality
Perspective
- Title(参考訳): $\textit{RemOve-And-Retrain}$:データ処理の不平等の観点から
- Authors: Junhwa Song, Keumgang Cha, Junghoon Seo
- Abstract要約: 本研究では,RemOve-And-Retrain(ROAR)手法の信頼性について検討した。
理論的基礎と実証的研究から得られた知見から、決定関数に関するより少ない情報を含む属性がROARベンチマークにおいて優れた結果をもたらす可能性が示唆された。
- 参考スコア(独自算出の注目度): 5.8010446129208155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Approaches for appraising feature importance approximations, alternatively
referred to as attribution methods, have been established across an extensive
array of contexts. The development of resilient techniques for performance
benchmarking constitutes a critical concern in the sphere of explainable deep
learning. This study scrutinizes the dependability of the RemOve-And-Retrain
(ROAR) procedure, which is prevalently employed for gauging the performance of
feature importance estimates. The insights gleaned from our theoretical
foundation and empirical investigations reveal that attributions containing
lesser information about the decision function may yield superior results in
ROAR benchmarks, contradicting the original intent of ROAR. This occurrence is
similarly observed in the recently introduced variant RemOve-And-Debias (ROAD),
and we posit a persistent pattern of blurriness bias in ROAR attribution
metrics. Our findings serve as a warning against indiscriminate use on ROAR
metrics. The code is available as open source.
- Abstract(参考訳): アトリビューション法(attribution method)と呼ばれる、特徴の重要性近似を評価するためのアプローチが、幅広いコンテキストにわたって確立されてきた。
パフォーマンスベンチマークのためのレジリエントなテクニックの開発は、説明可能なディープラーニングの分野において重要な関心事となっている。
本研究は,特徴量推定の性能評価に広く用いられているroar(remove-and-retrain)手順の信頼性について検討する。
理論的基礎と実証的研究から得られた知見は、ROARベンチマークにおいて、ROARの本来の意図に反して、決定関数に関するより少ない情報を含む属性が優れた結果をもたらす可能性があることを示している。
この現象は,最近導入された変種remove-and-debias (road)でも同様に観察され,roar attribution metricsにおけるぼやけバイアスの持続的なパターンを仮定した。
我々の発見は、ROARメトリクスの無差別使用に対する警告として役立ちます。
コードはオープンソースとして公開されている。
関連論文リスト
- Value-Distributional Model-Based Reinforcement Learning [63.32053223422317]
政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。
モデルに基づくベイズ強化学習の観点から問題を考察する。
本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
論文 参考訳(メタデータ) (2023-08-12T14:59:19Z) - Improved Policy Evaluation for Randomized Trials of Algorithmic Resource
Allocation [54.72195809248172]
提案する新しい概念を応用した新しい推定器を提案する。
我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
論文 参考訳(メタデータ) (2023-02-06T05:17:22Z) - Distributionally Robust Multiclass Classification and Applications in
Deep Image Classifiers [9.979945269265627]
マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。
本研究では,新しいランダムトレーニング手法を採用することにより,試験誤差率を最大83.5%,損失を最大91.3%削減することを示した。
論文 参考訳(メタデータ) (2022-10-15T05:09:28Z) - Distributionally Robust Multiclass Classification and Applications in
Deep Image Classifiers [3.179831861897336]
マルチクラスロジスティック回帰(MLR)のための分布ロバスト最適化(DRO)の定式化を開発する。
本研究では,新しいランダムトレーニング手法を採用することにより,試験誤差率を最大83.5%,損失を最大91.3%削減することを示した。
論文 参考訳(メタデータ) (2021-09-27T02:58:19Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳(メタデータ) (2021-08-11T21:17:02Z) - DORO: Distributional and Outlier Robust Optimization [98.44757325531631]
本稿では,分散ロバスト最適化のためのDOROのフレームワークを提案する。
このアプローチのコアとなるのは、DROがオーバーフィットして潜在的な外れ値に収まらないような、洗練されたリスク関数である。
提案手法の有効性を理論的に証明し, DOROがDROの性能と安定性を向上することを示す。
論文 参考訳(メタデータ) (2021-06-11T02:59:54Z) - From Majorization to Interpolation: Distributionally Robust Learning
using Kernel Smoothing [1.2891210250935146]
確率指標に基づく分布的ロバスト最適化(DRO)の関数近似の側面を検討する。
本稿では,滑らかな関数近似と畳み込みに基づく堅牢な学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-16T22:25:18Z) - Residuals-based distributionally robust optimization with covariate
information [0.0]
我々は、分散ロバスト最適化(DRO)における機械学習予測モデルを統合するデータ駆動アプローチを検討する。
私たちのフレームワークは、さまざまな学習設定やDROあいまいさセットに対応できるという意味で柔軟です。
論文 参考訳(メタデータ) (2020-12-02T11:21:34Z) - Learning from Context or Names? An Empirical Study on Neural Relation
Extraction [112.06614505580501]
テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前)
本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。
我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
論文 参考訳(メタデータ) (2020-10-05T11:21:59Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳(メタデータ) (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。