論文の概要: Localized Shortcut Removal

• arxiv url: http://arxiv.org/abs/2211.15510v2
• Date: Tue, 23 May 2023 08:27:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:04:34.567764
• Title: Localized Shortcut Removal
• Title（参考訳）: 局所的ショートカット除去
• Authors: Nicolas M. M\"uller, Jochen Jacobs, Jennifer Williams, Konstantin B\"ottinger
• Abstract要約: 保持されたテストデータのハイパフォーマンスは、モデルを一般化したり、意味のあるものを学ぶことを必ずしも示さない。 これはしばしば、機械学習のショートカットの存在が原因である。 我々は、逆向きに訓練されたレンズを用いて、画像中の非常に予測的だが意味的に無関係な手がかりを検出し、排除する。
• 参考スコア（独自算出の注目度）: 4.511561231517167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning is a data-driven field, and the quality of the underlying datasets plays a crucial role in learning success. However, high performance on held-out test data does not necessarily indicate that a model generalizes or learns anything meaningful. This is often due to the existence of machine learning shortcuts - features in the data that are predictive but unrelated to the problem at hand. To address this issue for datasets where the shortcuts are smaller and more localized than true features, we propose a novel approach to detect and remove them. We use an adversarially trained lens to detect and eliminate highly predictive but semantically unconnected clues in images. In our experiments on both synthetic and real-world data, we show that our proposed approach reliably identifies and neutralizes such shortcuts without causing degradation of model performance on clean data. We believe that our approach can lead to more meaningful and generalizable machine learning models, especially in scenarios where the quality of the underlying datasets is crucial.
• Abstract（参考訳）: 機械学習はデータ駆動の分野であり、基礎となるデータセットの品質は、学習の成功において重要な役割を果たす。 しかし、ホールドアウトテストデータのハイパフォーマンスは、モデルが意味のあるものを一般化または学習することを必ずしも示さない。 多くの場合、これは機械学習のショートカットの存在によるもので、予測されるが目の前の問題とは無関係なデータの特徴である。 ショートカットが真の機能よりも小さくローカライズされているデータセットでこの問題に対処するため、これらを検出し削除するための新しいアプローチを提案する。 我々は、逆向きに訓練されたレンズを用いて、画像中の非常に予測的だが意味的に無関係な手がかりを検出し、排除する。 本研究では,合成データと実世界のデータの両方について実験を行い,提案手法がクリーンデータにおけるモデル性能の低下を生じさせることなく,その近道を確実に識別し,中和することを示す。 我々のアプローチは、特に基盤となるデータセットの品質が不可欠であるシナリオにおいて、より有意義で一般化可能な機械学習モデルにつながると信じています。

関連論文リスト

• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• On Inductive Biases for Machine Learning in Data Constrained Settings [0.0]
  この論文は、データ制約された設定で表現力のあるモデルを学ぶという問題に対する異なる答えを探求する。 ニューラルネットワークを学ぶために、大きなデータセットに頼るのではなく、データ構造を反映した既知の関数によって、いくつかのモジュールを置き換えるつもりです。 我々のアプローチは「帰納的バイアス」のフードの下に置かれており、これは探索するモデルの空間を制限する手元にあるデータの仮説として定義することができる。
  論文  参考訳（メタデータ） (2023-02-21T14:22:01Z)
• PROMISSING: Pruning Missing Values in Neural Networks [0.0]
  本稿では,ニューラルネットワークの学習と推論の段階において,欠落値(PROMISSing)を抽出する,シンプルで直感的かつ効果的な手法を提案する。 実験の結果, ProMISSing は様々な計算手法と比較して予測性能が良くなることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T15:37:27Z)
• Vertical Machine Unlearning: Selectively Removing Sensitive Information From Latent Feature Space [21.8933559159369]
  遅延特徴空間から機密情報のみを除去することを目的とした縦型アンラーニングモードについて検討する。 我々はこの非学習について直観的かつ形式的な定義を導入し、既存の水平的非学習との関係を示す。 厳密な理論的解析により上界の近似を推定する。
  論文  参考訳（メタデータ） (2022-02-27T05:25:15Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• Diverse Complexity Measures for Dataset Curation in Self-driving [80.55417232642124]
  トラフィックシーンの面白さを定量化する多様な基準を活用した新たなデータ選択手法を提案する。 実験の結果,提案するキュレーションパイプラインは,より汎用的で高いパフォーマンスをもたらすデータセットを選択できることが判明した。
  論文  参考訳（メタデータ） (2021-01-16T23:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。