論文の概要: Repairing Neural Networks by Leaving the Right Past Behind
- arxiv url: http://arxiv.org/abs/2207.04806v1
- Date: Mon, 11 Jul 2022 12:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 19:32:09.785614
- Title: Repairing Neural Networks by Leaving the Right Past Behind
- Title(参考訳): 正しい過去を残してニューラルネットワークを修復する
- Authors: Ryutaro Tanno, Melanie F. Pradier, Aditya Nori, Yingzhen Li
- Abstract要約: 機械学習モデルの予測失敗は、トレーニングデータの欠陥から生じることが多い。
この研究は、目標とする障害を発生させたトレーニング例を特定し、それらに関する情報を消去することでモデルを修正するための一般的なフレームワークを開発する。
- 参考スコア(独自算出の注目度): 23.78437548836594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prediction failures of machine learning models often arise from deficiencies
in training data, such as incorrect labels, outliers, and selection biases.
However, such data points that are responsible for a given failure mode are
generally not known a priori, let alone a mechanism for repairing the failure.
This work draws on the Bayesian view of continual learning, and develops a
generic framework for both, identifying training examples that have given rise
to the target failure, and fixing the model through erasing information about
them. This framework naturally allows leveraging recent advances in continual
learning to this new problem of model repairment, while subsuming the existing
works on influence functions and data deletion as specific instances.
Experimentally, the proposed approach outperforms the baselines for both
identification of detrimental training data and fixing model failures in a
generalisable manner.
- Abstract(参考訳): 機械学習モデルの予測失敗は、誤ったラベル、外れ値、選択バイアスなどのトレーニングデータの欠陥から生じることが多い。
しかしながら、特定の障害モードに責任を負うデータポイントは、一般的には、障害を修復するメカニズムとして知られてはいない。
この研究はベイジアンによる継続的学習の考え方を浮き彫りにして、両方の汎用フレームワークを開発し、ターゲットの失敗を引き起こしたトレーニング例を特定し、それらに関する情報を消去することでモデルを修正する。
このフレームワークは、モデル修復という新たな問題に対して、継続的学習の最近の進歩を自然に活用し、既存の影響関数やデータ削除を具体例として仮定する。
実験により,提案手法は,不正なトレーニングデータの同定と,汎用的なモデル障害の修正のベースラインを上回っている。
関連論文リスト
- Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。
単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。
我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
論文 参考訳(メタデータ) (2024-03-04T19:38:50Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - A Principled Approach to Failure Analysis and Model Repairment:
Demonstration in Medical Imaging [12.732665048388041]
マシンラーニングモデルは通常、デプロイ後の予期せぬ失敗を示す。
私たちは2つの重要な質問に答えることで、このプロセスの標準化と原則の導入を目指しています。
そこで本研究では,タイプ内および型間一般化の測定により,特定された障害タイプの品質を検証できることを示唆する。
我々は,以前に正しいデータの性能を維持しつつ,失敗タイプに対して高い精度を達成できた場合,モデルを修復すると考えることができると論じる。
論文 参考訳(メタデータ) (2021-09-25T12:04:19Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - Graceful Degradation and Related Fields [0.0]
優雅な劣化は、アウト・オブ・ディストリビューションデータに遭遇するモデルパフォーマンスの最適化を指す。
この研究は、優雅な劣化の定義と議論であり、どのようにデプロイされた視覚システムに適用できるかを示す。
論文 参考訳(メタデータ) (2021-06-21T13:56:41Z) - Explainable Adversarial Attacks in Deep Neural Networks Using Activation
Profiles [69.9674326582747]
本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。
これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
論文 参考訳(メタデータ) (2021-03-18T13:04:21Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳(メタデータ) (2020-12-02T16:10:54Z) - Understanding the Failure Modes of Out-of-Distribution Generalization [40.83290846983708]
経験的研究は、機械学習モデルは、トレーニング時間にのみラベルと急激な相関関係を持つ可能性のある背景のような特徴にしばしば依存していることを示唆している。
本研究は,学習が容易なタスクにおいても,モデルがこのように失敗する理由を説明することによって,この行動を引き起こす基本的な要因を同定する。
論文 参考訳(メタデータ) (2020-10-29T17:19:03Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。