論文の概要: Removing Spurious Features can Hurt Accuracy and Affect Groups Disproportionately

• arxiv url: http://arxiv.org/abs/2012.04104v1
• Date: Mon, 7 Dec 2020 23:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:56:09.056864
• Title: Removing Spurious Features can Hurt Accuracy and Affect Groups Disproportionately
• Title（参考訳）: 清潔な特徴の除去は, 正確さと影響群を不均等に抑制する
• Authors: Fereshte Khani, Percy Liang
• Abstract要約: 自然な修正は、モデルからスプリアスな特徴を取り除くことである。 誘導バイアスによる突発的特徴の除去は精度を低下させる可能性が示唆された。 また,ロバストな自己学習によって,全体的な正確性に影響を与えずにスプリアスな特徴を除去できることを示した。
• 参考スコア（独自算出の注目度）: 83.68135652247496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The presence of spurious features interferes with the goal of obtaining robust models that perform well across many groups within the population. A natural remedy is to remove spurious features from the model. However, in this work we show that removal of spurious features can decrease accuracy due to the inductive biases of overparameterized models. We completely characterize how the removal of spurious features affects accuracy across different groups (more generally, test distributions) in noiseless overparameterized linear regression. In addition, we show that removal of spurious feature can decrease the accuracy even in balanced datasets -- each target co-occurs equally with each spurious feature; and it can inadvertently make the model more susceptible to other spurious features. Finally, we show that robust self-training can remove spurious features without affecting the overall accuracy. Experiments on the Toxic-Comment-Detectoin and CelebA datasets show that our results hold in non-linear models.
• Abstract（参考訳）: 散発的な特徴の存在は、人口の多くのグループでうまく機能するロバストなモデルを得ることを妨げている。 自然な修正は、モデルからスプリアスな特徴を取り除くことである。 しかし,本研究では,多パラメータモデルの帰納バイアスにより,スプリアス特徴の除去により精度が低下することを示す。 雑音のない過パラメータ化線形回帰において、突発的特徴の除去が異なる群(一般にテスト分布)の精度にどのように影響するかを完全に特徴づける。 さらに、スプリアス機能の削除は、バランスのとれたデータセット -- それぞれのターゲットがそれぞれのスプリアス機能と等しく共起する -- においても精度を低下させ、他のスプリアス機能に対して不注意にモデルがより敏感になることを示す。 最後に,ロバストな自己学習によって,全体的な正確性に影響を与えずにスプリアスな特徴を除去できることを示す。 毒性コンメンテーション検出器とセロバデータセットの実験により, 結果は非線形モデルに保持されていることが示された。

関連論文リスト

• Uncertainty-aware Human Mobility Modeling and Anomaly Detection [28.311683535974634]
  本研究では,効率的な異常検出に向けて,人間のエージェントの移動行動のモデル化方法について検討する。 我々はGPSデータを時系列の静止点イベントとして使用し、それぞれに時間的特徴を特徴付ける。 数万のエージェントによる大規模専門家シミュレーションデータセットの実験は、我々のモデルの有効性を実証している。
  論文  参考訳（メタデータ） (2024-10-02T06:57:08Z)
• Accuracy on the wrong line: On the pitfalls of noisy data for out-of-distribution generalisation [70.36344590967519]
  ノイズの多いデータやニュアンスの特徴は,その正確さを損なうのに十分であることを示す。 ノイズの多いデータとノイズのある特徴を持つ合成データセットと実データセットの両方で、この現象を実証する。
  論文  参考訳（メタデータ） (2024-06-27T09:57:31Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Distilling Robust and Non-Robust Features in Adversarial Examples by Information Bottleneck [33.18197518590706]
  本稿では,Information Bottleneckを用いて,特徴表現をロバストかつ非ロバストな特徴に明示的に蒸留する方法を提案する。 本研究は, 蒸留した特徴が敵の予測と強く相関していることを示し, それらが自己認識可能な意味情報を持っていることを示した。 本稿では, モデル予測に直接関係する非破壊的特徴の勾配を増大させる攻撃機構を提案し, 破壊モデルロバスト性の有効性を検証した。
  論文  参考訳（メタデータ） (2022-04-06T11:22:46Z)
• Spread Spurious Attribute: Improving Worst-group Accuracy with Spurious Attribute Estimation [72.92329724600631]
  本稿では,最悪のグループ精度を向上させるために,疑似属性に基づくアルゴリズムSpread Spurious Attributeを提案する。 各種ベンチマークデータセットに対する実験により,アルゴリズムはベースライン法より一貫して優れていることが示された。 また,提案したSSAは,フル (100%) のスプリアス特性監視を用いた手法に匹敵する性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T09:08:30Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Causally Estimating the Sensitivity of Neural NLP Models to Spurious Features [19.770032728328733]
  NLPにおける異なる形態の突発性特徴の効果を評価・比較する手段はない。 我々は,CENTと呼ばれる因果推定値を用いて,刺激性特徴に対するモデル感度を定量化する。 感度と頑健性の間に統計的に有意な逆相関が見られ、仮説を実証的に支持する。
  論文  参考訳（メタデータ） (2021-10-14T05:26:08Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• One Neuron to Fool Them All [12.107259467873094]
  我々は、そのニューロンの出力の直接摂動に対するモデル出力の頑健さの観点から、個々のニューロンの感度を評価する。 単一感受性ニューロンのみを標的とする損失関数を用いた攻撃は、完全なモデルをターゲットにしたものと同じくらい効果的に敵の例を見つける。
  論文  参考訳（メタデータ） (2020-03-20T16:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。