論文の概要: Shortcut Removal for Improved OOD-Generalization

• arxiv url: http://arxiv.org/abs/2211.15510v1
• Date: Thu, 24 Nov 2022 13:05:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 17:19:47.385917
• Title: Shortcut Removal for Improved OOD-Generalization
• Title（参考訳）: 改良OOD一般化のためのショートカット除去
• Authors: Nicolas M. M\"uller, Jochen Jacobs, Jennifer Williams, Konstantin B\"ottinger
• Abstract要約: 機械学習のショートカットを検出するための新しいアプローチと、データセットからそれらを自動削除するテクニックを提案する。 逆向きに訓練されたレンズを使用することで、画像の小さな、非常に予測可能な手がかりを検出し、取り除くことができる。 実験では,異なるショートカットが存在する場合,モデル性能の最大93,8%を回復することができる。
• 参考スコア（独自算出の注目度）: 4.511561231517167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning is a data-driven discipline, and learning success is largely dependent on the quality of the underlying data sets. However, it is becoming increasingly clear that even high performance on held-out test data does not necessarily mean that a model generalizes or learns anything meaningful at all. One reason for this is the presence of machine learning shortcuts, i.e., hints in the data that are predictive but accidental and semantically unconnected to the problem. We present a new approach to detect such shortcuts and a technique to automatically remove them from datasets. Using an adversarially trained lens, any small and highly predictive clues in images can be detected and removed. We show that this approach 1) does not cause degradation of model performance in the absence of these shortcuts, and 2) reliably identifies and neutralizes shortcuts from different image datasets. In our experiments, we are able to recover up to 93,8% of model performance in the presence of different shortcuts. Finally, we apply our model to a real-world dataset from the medical domain consisting of chest x-rays and identify and remove several types of shortcuts that are known to hinder real-world applicability. Thus, we hope that our proposed approach fosters real-world applicability of machine learning.
• Abstract（参考訳）: 機械学習はデータ駆動の規律であり、学習の成功は基礎となるデータセットの品質に大きく依存する。 しかし、ホールドアウトテストデータでハイパフォーマンスであっても、モデルが意味のあるものを一般化したり学習したりするとは限らないことが明らかになりつつある。 この理由の1つは、機械学習のショートカットの存在、すなわち、予測的ではあるが偶然に問題に結びついていないデータにヒントがあることである。 このようなショートカットを検出するための新しいアプローチと、データセットからそれらを自動的に除去するテクニックを提案する。 逆向きに訓練されたレンズを使用することで、画像中の小さな予測可能な手がかりを検出、除去することができる。 このアプローチは 1)これらのショートカットがない場合,モデル性能が低下することはない。 2)異なる画像データセットからのショートカットを確実に識別し、中和する。 実験では,異なるショートカットが存在する場合,モデル性能の最大93,8%を回復することができる。 最後に、胸部x線からなる医療領域からの実世界のデータセットに適用し、実世界の適用性を阻害するいくつかの種類のショートカットを特定し除去する。 したがって,提案手法が機械学習の現実的な適用性を促進することを期待する。

関連論文リスト

• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• On Inductive Biases for Machine Learning in Data Constrained Settings [0.0]
  この論文は、データ制約された設定で表現力のあるモデルを学ぶという問題に対する異なる答えを探求する。 ニューラルネットワークを学ぶために、大きなデータセットに頼るのではなく、データ構造を反映した既知の関数によって、いくつかのモジュールを置き換えるつもりです。 我々のアプローチは「帰納的バイアス」のフードの下に置かれており、これは探索するモデルの空間を制限する手元にあるデータの仮説として定義することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:22:01Z)
• PROMISSING: Pruning Missing Values in Neural Networks [0.0]
  本稿では,ニューラルネットワークの学習と推論の段階において,欠落値(PROMISSing)を抽出する,シンプルで直感的かつ効果的な手法を提案する。 実験の結果, ProMISSing は様々な計算手法と比較して予測性能が良くなることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T15:37:27Z)
• Vertical Machine Unlearning: Selectively Removing Sensitive Information From Latent Feature Space [21.8933559159369]
  遅延特徴空間から機密情報のみを除去することを目的とした縦型アンラーニングモードについて検討する。 我々はこの非学習について直観的かつ形式的な定義を導入し、既存の水平的非学習との関係を示す。 厳密な理論的解析により上界の近似を推定する。
  論文  参考訳（メタデータ） (2022-02-27T05:25:15Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• Diverse Complexity Measures for Dataset Curation in Self-driving [80.55417232642124]
  トラフィックシーンの面白さを定量化する多様な基準を活用した新たなデータ選択手法を提案する。 実験の結果,提案するキュレーションパイプラインは,より汎用的で高いパフォーマンスをもたらすデータセットを選択できることが判明した。
  論文  参考訳（メタデータ） (2021-01-16T23:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。