論文の概要: SLIM: Spuriousness Mitigation with Minimal Human Annotations

• arxiv url: http://arxiv.org/abs/2407.05594v1
• Date: Mon, 8 Jul 2024 04:15:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 17:10:02.867125
• Title: SLIM: Spuriousness Mitigation with Minimal Human Annotations
• Title（参考訳）: SLIM:最小限の人間アノテーションによる清浄度軽減
• Authors: Xiwei Xuan, Ziquan Deng, Hsuan-Tien Lin, Kwan-Liu Ma,
• Abstract要約: 深層学習における素早い相関を減らし,費用対効果と性能を目標としたSLIMを導入する。 複雑なトレーニング戦略よりもデータ品質を優先することにより、SLIMはより小さいがより機能バランスの取れたデータサブセットをキュレートし、スプリアスネス・ロバストモデルの開発を促進する。
• 参考スコア（独自算出の注目度）: 24.863960194779875
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent studies highlight that deep learning models often learn spurious features mistakenly linked to labels, compromising their reliability in real-world scenarios where such correlations do not hold. Despite the increasing research effort, existing solutions often face two main challenges: they either demand substantial annotations of spurious attributes, or they yield less competitive outcomes with expensive training when additional annotations are absent. In this paper, we introduce SLIM, a cost-effective and performance-targeted approach to reducing spurious correlations in deep learning. Our method leverages a human-in-the-loop protocol featuring a novel attention labeling mechanism with a constructed attention representation space. SLIM significantly reduces the need for exhaustive additional labeling, requiring human input for fewer than 3% of instances. By prioritizing data quality over complicated training strategies, SLIM curates a smaller yet more feature-balanced data subset, fostering the development of spuriousness-robust models. Experimental validations across key benchmarks demonstrate that SLIM competes with or exceeds the performance of leading methods while significantly reducing costs. The SLIM framework thus presents a promising path for developing reliable models more efficiently. Our code is available in https://github.com/xiweix/SLIM.git/.
• Abstract（参考訳）: 近年の研究では、ディープラーニングモデルはラベルに誤って関連付けられている突発的な特徴を学習し、そのような相関が持たない現実のシナリオにおいて信頼性を損なうことがしばしば示されている。 研究努力が増えているにもかかわらず、既存のソリューションは2つの大きな課題に直面している。 本稿では,深層学習における素早い相関を減らし,コスト効率と性能を目標としたSLIMを提案する。 提案手法は,アテンション表現空間が構築された新しいアテンションラベリング機構を備えたヒューマン・イン・ザ・ループプロトコルを利用する。 SLIMは徹底的なラベリングの必要性を大幅に減らし、3%未満のインスタンスに対して人間の入力を必要とする。 複雑なトレーニング戦略よりもデータ品質を優先することにより、SLIMはより小さいがより機能バランスの取れたデータサブセットをキュレートし、スプリアスネス・ロバストモデルの開発を促進する。 鍵となるベンチマークに対する実験的な検証は、SLIMがリードメソッドのパフォーマンスと競合する一方、コストを大幅に削減することを示している。 SLIMフレームワークは信頼性の高いモデルをより効率的に開発するための有望な経路を提供する。 私たちのコードはhttps://github.com/xiweix/SLIM.git/で利用可能です。

関連論文リスト

• Agnostic Sharpness-Aware Minimization [29.641227264358704]
  シャープネス認識(SAM)は、トレーニング損失とロスランドスケープのシャープネスを最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 Model-Agnostic Meta-Learning (MAML)は、モデルの適応性を改善するために設計されたフレームワークである。 我々はSAMとMAMLの両方の原則を組み合わせた新しいアプローチであるAgnostic-SAMを紹介する。
  論文  参考訳（メタデータ） (2024-06-11T09:49:00Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Avoiding spurious correlations via logit correction [21.261525854506743]
  実証的研究は、経験的リスクで訓練された機械学習モデルは、しばしばクラスラベルと突発的に相関する可能性のある属性に依存していることを示唆している。 本研究では,学習データの大部分に潜在的に急激な相関が存在する状況について考察する。 サンプルロジットを補正するために,ソフトマックスクロスエントロピー損失の簡易かつ効果的な改善であるロジット補正(LC)損失を提案する。
  論文  参考訳（メタデータ） (2022-12-02T20:30:59Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• A new weakly supervised approach for ALS point cloud semantic segmentation [1.4620086904601473]
  本稿では,ALS点雲のセマンティックセグメンテーションのための,ディープラーニングに基づく弱教師付きフレームワークを提案する。 不完全でスパースなラベルの対象となるラベルのないデータから潜在的情報を利用する。 本手法は, 総合精度が83.0%, 平均F1スコアが70.0%であり, それぞれ6.9%, 12.8%増加した。
  論文  参考訳（メタデータ） (2021-10-04T14:00:23Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。