論文の概要: Efficient Unsupervised Shortcut Learning Detection and Mitigation in Transformers

• arxiv url: http://arxiv.org/abs/2501.00942v1
• Date: Wed, 01 Jan 2025 19:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:15:43.005832
• Title: Efficient Unsupervised Shortcut Learning Detection and Mitigation in Transformers
• Title（参考訳）: 変圧器の効率的な教師なしショートカット学習検出と緩和
• Authors: Lukas Kuhn, Sari Sadiya, Jorg Schlotterer, Christin Seifert, Gemma Roig,
• Abstract要約: ショートカット学習(ショートカットラーニング)、すなわち、タスクに直接関係しない望ましくない機能への依存は、機械学習アルゴリズムの適用を厳しく制限する大きな課題である。 我々は、機械学習の最近の進歩を活用して、トランスフォーマーにおけるショートカット学習の検出と緩和の両立が可能な教師なしのフレームワークを作成する。
• 参考スコア（独自算出の注目度）: 6.080064619880841
• License:
• Abstract: Shortcut learning, i.e., a model's reliance on undesired features not directly relevant to the task, is a major challenge that severely limits the applications of machine learning algorithms, particularly when deploying them to assist in making sensitive decisions, such as in medical diagnostics. In this work, we leverage recent advancements in machine learning to create an unsupervised framework that is capable of both detecting and mitigating shortcut learning in transformers. We validate our method on multiple datasets. Results demonstrate that our framework significantly improves both worst-group accuracy (samples misclassified due to shortcuts) and average accuracy, while minimizing human annotation effort. Moreover, we demonstrate that the detected shortcuts are meaningful and informative to human experts, and that our framework is computationally efficient, allowing it to be run on consumer hardware.
• Abstract（参考訳）: ショートカット学習(ショートカットラーニング)、すなわち、タスクに直接関係しない望ましくない機能への依存は、機械学習アルゴリズムの適用を厳しく制限する大きな課題である。 本研究では、機械学習の最近の進歩を活用して、トランスフォーマーにおけるショートカット学習の検出と緩和を両立できる教師なしのフレームワークを作成する。 提案手法を複数のデータセットで検証する。 その結果,本フレームワークは,ヒトのアノテーション作業を最小限に抑えつつ,最悪のグループ精度(ショートカットによって誤分類されたサンプル)と平均精度の両方を著しく改善することが示された。 さらに,検出したショートカットは人間の専門家にとって有意義かつ有意義であり,我々のフレームワークは計算的に効率的であり,コンシューマハードウェア上で動作可能であることを実証した。

関連論文リスト

• Small Effect Sizes in Malware Detection? Make Harder Train/Test Splits! [51.668411293817464]
  業界関係者は、モデルが数億台のマシンにデプロイされているため、マルウェア検出精度の小さな改善に気を配っている。 学術研究はしばしば1万のサンプルの順序で公開データセットに制限される。 利用可能なサンプルのプールから難易度ベンチマークを生成するためのアプローチを考案する。
  論文  参考訳（メタデータ） (2023-12-25T21:25:55Z)
• Distributional Instance Segmentation: Modeling Uncertainty and High Confidence Predictions with Latent-MaskRCNN [77.0623472106488]
  本稿では,潜在符号を用いた分散インスタンス分割モデルのクラスについて検討する。 ロボットピッキングへの応用として,高い精度を実現するための信頼性マスク手法を提案する。 本手法は,新たにリリースした曖昧なシーンのデータセットを含め,ロボットシステムにおける致命的なエラーを著しく低減できることを示す。
  論文  参考訳（メタデータ） (2023-05-03T05:57:29Z)
• Localized Shortcut Removal [4.511561231517167]
  保持されたテストデータのハイパフォーマンスは、モデルを一般化したり、意味のあるものを学ぶことを必ずしも示さない。 これはしばしば、機械学習のショートカットの存在が原因である。 我々は、逆向きに訓練されたレンズを用いて、画像中の非常に予測的だが意味的に無関係な手がかりを検出し、排除する。
  論文  参考訳（メタデータ） (2022-11-24T13:05:33Z)
• Self-supervised Transformer for Deepfake Detection [112.81127845409002]
  現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。 転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。 本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T17:44:40Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Weakly-Supervised Domain Adaptation of Deep Regression Trackers via Reinforced Knowledge Distillation [27.00282405409842]
  このようなトラッカーのクラスをドメイン適応するための最初の方法論を示す。 本研究では,強化学習を弱監督の表現に用いる,弱監督型適応戦略を提案する。 5つの異なるロボットビジョン領域の実験は、我々の方法論の妥当性を実証している。
  論文  参考訳（メタデータ） (2021-03-26T14:37:33Z)
• Adversarial Training is Not Ready for Robot Learning [55.493354071227174]
  対人訓練は,ノルム有界摂動に耐性のあるディープラーニングモデルを訓練する有効な方法である。 敵訓練により得られたニューラルコントローラが3種類の欠陥を受けることを理論的および実験的に示す。 この結果から, ロボット学習にはまだ対応できていないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-15T07:51:31Z)
• Cockpit: A Practical Debugging Tool for Training Deep Neural Networks [27.96164890143314]
  学習機械の内部動作をより深く観察することのできる機器のコレクションを提示する。 これらの機器は勾配分布と曲率に関する新しい高次情報を利用する。
  論文  参考訳（メタデータ） (2021-02-12T16:28:49Z)
• Data-efficient Weakly-supervised Learning for On-line Object Detection under Domain Shift in Robotics [24.878465999976594]
  文献では、Deep Convolutional Neural Networks (DCNNs)に基づく多数のオブジェクト検出方法が提案されている。 これらの手法はロボティクスに重要な制限がある:オフラインデータのみに学習するとバイアスが発生し、新しいタスクへの適応を防ぐことができる。 本研究では,弱い教師付き学習がこれらの問題にどのように対処できるかを検討する。
  論文  参考訳（メタデータ） (2020-12-28T16:36:11Z)
• Fair Meta-Learning For Few-Shot Classification [7.672769260569742]
  バイアスデータに基づいてトレーニングされた機械学習アルゴリズムは、不公平な予測を行う傾向がある。 本稿では,メタトレイン中のバイアスを効果的に軽減する,高速適応型数ショットメタラーニング手法を提案する。 提案手法は,モデル出力のバイアスを効果的に軽減し,不明瞭なタスクに対して精度と公平性の両方を一般化することを実証的に実証する。
  論文  参考訳（メタデータ） (2020-09-23T22:33:47Z)
• AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning [72.99415402575886]
  外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。 本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。 さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-06-19T18:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。