論文の概要: Monitoring Shortcut Learning using Mutual Information

• arxiv url: http://arxiv.org/abs/2206.13034v1
• Date: Mon, 27 Jun 2022 03:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 03:29:37.900548
• Title: Monitoring Shortcut Learning using Mutual Information
• Title（参考訳）: 相互情報を用いたショートカット学習のモニタリング
• Authors: Mohammed Adnan, Yani Ioannou, Chuan-Yung Tsai, Angus Galloway, H.R. Tizhoosh, Graham W. Taylor
• Abstract要約: ショートカット学習は、素早い相関を含まない実世界のデータに基づいて評価される。 実験により、MIはメートル法ネットワークのショートカットネットワークとして使用できることが示された。
• 参考スコア（独自算出の注目度）: 16.17600110257266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The failure of deep neural networks to generalize to out-of-distribution data is a well-known problem and raises concerns about the deployment of trained networks in safety-critical domains such as healthcare, finance and autonomous vehicles. We study a particular kind of distribution shift $\unicode{x2013}$ shortcuts or spurious correlations in the training data. Shortcut learning is often only exposed when models are evaluated on real-world data that does not contain the same spurious correlations, posing a serious dilemma for AI practitioners to properly assess the effectiveness of a trained model for real-world applications. In this work, we propose to use the mutual information (MI) between the learned representation and the input as a metric to find where in training, the network latches onto shortcuts. Experiments demonstrate that MI can be used as a domain-agnostic metric for monitoring shortcut learning.
• Abstract（参考訳）: 分散データに一般化するディープニューラルネットワークの失敗は、よく知られた問題であり、医療、金融、自動運転車といった安全クリティカルな領域におけるトレーニング済みネットワークの展開に関する懸念を提起している。 我々は、トレーニングデータ内の特定の種類の分散シフト$\unicode{x2013}$ショートカットやスプリアス相関を研究した。 ショートカット学習は、しばしば、AI実践者が実世界のアプリケーションでトレーニングされたモデルの有効性を適切に評価する深刻なジレンマとなるように、同じ刺激的な相関関係を含まない実世界のデータでモデルを評価する場合にのみ公開される。 本研究では,学習表現と入力間の相互情報(mi)をメトリクスとして使用し,学習中にネットワークが近道にラッチする場所を見つけることを提案する。 実験により、MIはショートカット学習を監視するためのドメインに依存しない指標として利用できることが示された。

関連論文リスト

• SoK: Verifiable Cross-Silo FL [0.0]
  検証可能なクロスサイロFLに関する知識の体系化を提案する。 我々は、様々なプロトコルを分析し、それらを分類に適合させ、それらの効率と脅威モデルと比較する。
  論文  参考訳（メタデータ） (2024-10-11T07:39:35Z)
• How to Construct Perfect and Worse-than-Coin-Flip Spoofing Countermeasures: A Word of Warning on Shortcut Learning [20.486639064376014]
  ショートカット学習(英: Shortcut learning、またはClever Hans effect)とは、学習エージェントがデータに存在する急激な相関を学習し、バイアスのあるモデルをもたらす状況を指す。 本研究では, 深層学習に基づくスプーフィング対策(CM)において, ある発話がスプーフィングされているか否かを予測するショートカットの発見に焦点をあてる。
  論文  参考訳（メタデータ） (2023-05-31T15:58:37Z)
• Scalable Infomin Learning [39.77171117174905]
  インフォミン学習は、特定のターゲットについて非形式的でありながら、高いユーティリティで表現を学習することを目的としている。 情報マイニングの最近の研究は、主に相互情報を推定するためにニューラルネットワークをトレーニングする敵のトレーニングを使用している。 本稿では,情報交換のための新しいプロキシ・メトリックを用いた情報マイニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T14:40:25Z)
• Shortcut Detection with Variational Autoencoders [1.3174512123890016]
  可変オートエンコーダ(VAE)を利用した画像および音声データセットのショートカット検出手法を提案する。 VAEの潜在空間における特徴の分散により、データセット内の特徴目標相関を発見し、MLショートカットに対して半自動評価することが可能になる。 本手法の適用性を実世界のいくつかのデータセットに適用し,これまで発見されていないショートカットを同定する。
  論文  参考訳（メタデータ） (2023-02-08T18:26:10Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
  異常検出タスクはAIの安全性において重要な役割を担っている。 ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。 我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T15:59:55Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
  我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。 提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:01:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。