論文の概要: UnLearning from Experience to Avoid Spurious Correlations

• arxiv url: http://arxiv.org/abs/2409.02792v1
• Date: Wed, 4 Sep 2024 15:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 17:30:00.641597
• Title: UnLearning from Experience to Avoid Spurious Correlations
• Title（参考訳）: 経験から学ぶことのできない相関を避ける
• Authors: Jeff Mitchell, Jesús Martínez del Rincón, Niall McLaughlin,
• Abstract要約: 我々は,突発的相関の問題に対処する新しいアプローチを提案する: 経験から学ぶ(ULE) 本手法は,生徒モデルと教師モデルという,並列に訓練された2つの分類モデルを用いた。 提案手法は,Waterbirds,CelebA,Spawrious,UrbanCarsの各データセットに有効であることを示す。
• 参考スコア（独自算出の注目度）: 3.283369870504872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep neural networks can achieve state-of-the-art performance in many tasks, these models are more fragile than they appear. They are prone to learning spurious correlations in their training data, leading to surprising failure cases. In this paper, we propose a new approach that addresses the issue of spurious correlations: UnLearning from Experience (ULE). Our method is based on using two classification models trained in parallel: student and teacher models. Both models receive the same batches of training data. The student model is trained with no constraints and pursues the spurious correlations in the data. The teacher model is trained to solve the same classification problem while avoiding the mistakes of the student model. As training is done in parallel, the better the student model learns the spurious correlations, the more robust the teacher model becomes. The teacher model uses the gradient of the student's output with respect to its input to unlearn mistakes made by the student. We show that our method is effective on the Waterbirds, CelebA, Spawrious and UrbanCars datasets.
• Abstract（参考訳）: ディープニューラルネットワークは多くのタスクで最先端のパフォーマンスを達成することができるが、これらのモデルは現れるよりも脆弱である。 トレーニングデータに急激な相関関係を学習する傾向があるため、驚くべき障害ケースが発生します。 本稿では,経験から学ぶこと (ULE: UnLearning from Experience) という,突発的相関の問題に対処する新しいアプローチを提案する。 本手法は,生徒モデルと教師モデルという,並列に訓練された2つの分類モデルを用いた。 どちらのモデルも、トレーニングデータの同じバッチを受け取ります。 学生モデルは制約なしに訓練され、データの素早い相関を追求する。 教師モデルは、生徒モデルの誤りを回避しつつ、同じ分類問題を解決するために訓練される。 訓練が並行して行われると、学生モデルが素早い相関関係を学習するほど、教師モデルがより堅牢になる。 教師モデルは、学生が犯した未学習の誤りに対する入力に関して、生徒の出力の勾配を利用する。 提案手法は,Waterbirds,CelebA,Spawrious,UrbanCarsの各データセットに有効であることを示す。

関連論文リスト

• Two Independent Teachers are Better Role Model [7.001845833295753]
  我々は3D-DenseUNetと呼ばれる新しいディープラーニングモデルを提案する。 ダウンサンプリングにおけるグローバルアグリゲーションブロックとして機能し、空間情報損失の問題を解決する。 また,ラベル予測の代わりにモデル重みを要約した「2つの独立教師」という手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T08:22:41Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Understanding Robustness in Teacher-Student Setting: A New Perspective [42.746182547068265]
  適応的な例は機械学習モデルで、有界な対向的摂動はモデルを誤解させ、任意に誤った予測をすることができる。 広範な研究は、逆例の存在を説明し、モデルのロバスト性を改善する方法を提供する。 我々の研究は、敵対的な事例に関する将来の探索を暗示し、原則化されたデータ拡張を通じてモデルロバスト性を高めることができる。
  論文  参考訳（メタデータ） (2021-02-25T20:54:24Z)
• Distilling Double Descent [65.85258126760502]
  蒸留とは、別の「教師」モデルでラベル付けされた例に基づいた「学生」モデルを訓練する技法である。 教師モデルが非常にパラメータ化されすぎている場合であっても、非常に大きな保持されていないラベル付きデータセットを使用することで、より"伝統的な"アプローチを上回るモデルが生まれます。
  論文  参考訳（メタデータ） (2021-02-13T02:26:48Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)
• An Efficient Method of Training Small Models for Regression Problems with Knowledge Distillation [1.433758865948252]
  回帰問題に対する知識蒸留の新しい定式化を提案する。 まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。 マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
  論文  参考訳（メタデータ） (2020-02-28T08:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。