論文の概要: Active learning with biased non-response to label requests

• arxiv url: http://arxiv.org/abs/2312.08150v1
• Date: Wed, 13 Dec 2023 14:01:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:08:55.499618
• Title: Active learning with biased non-response to label requests
• Title（参考訳）: ラベル要求に対する非応答バイアスによるアクティブラーニング
• Authors: Thomas Robinson, Niek Tax, Richard Mudd, and Ido Guy
• Abstract要約: ラベル要求に対する非応答は、実世界の文脈におけるアクティブラーニングの有効性に影響を与える可能性がある。 本稿では,任意の能動学習アルゴリズムに適用可能なサンプリング戦略に対するコストベースの補正を提案する。
• 参考スコア（独自算出の注目度）: 5.940553820027303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active learning can improve the efficiency of training prediction models by identifying the most informative new labels to acquire. However, non-response to label requests can impact active learning's effectiveness in real-world contexts. We conceptualise this degradation by considering the type of non-response present in the data, demonstrating that biased non-response is particularly detrimental to model performance. We argue that this sort of non-response is particularly likely in contexts where the labelling process, by nature, relies on user interactions. To mitigate the impact of biased non-response, we propose a cost-based correction to the sampling strategy--the Upper Confidence Bound of the Expected Utility (UCB-EU)--that can, plausibly, be applied to any active learning algorithm. Through experiments, we demonstrate that our method successfully reduces the harm from labelling non-response in many settings. However, we also characterise settings where the non-response bias in the annotations remains detrimental under UCB-EU for particular sampling methods and data generating processes. Finally, we evaluate our method on a real-world dataset from e-commerce platform Taobao. We show that UCB-EU yields substantial performance improvements to conversion models that are trained on clicked impressions. Most generally, this research serves to both better conceptualise the interplay between types of non-response and model improvements via active learning, and to provide a practical, easy to implement correction that helps mitigate model degradation.
• Abstract（参考訳）: アクティブラーニングは、獲得する最も有益な新しいラベルを識別することで、予測モデルのトレーニング効率を向上させることができる。 しかしながら、ラベルリクエストに対する非応答は、現実世界のコンテキストにおけるアクティブラーニングの有効性に影響を与える可能性がある。 この劣化を,データ内に存在する非応答の種類を考慮し,非応答バイアスが特にモデル性能に有害であることを示すことで概念化する。 この種の非応答は、本質的にはユーザインタラクションに依存するラベリングプロセスのコンテキストにおいて特に顕著である、と我々は主張する。 偏りのある非応答の影響を軽減するため,本研究では,任意のアクティブラーニングアルゴリズムに適用可能な,期待効用(ucb-eu)の上位信頼範囲のサンプリング戦略に対するコストベース補正を提案する。 実験により,提案手法は,多くの環境において非応答のラベル付けによる害を軽減できることが実証された。 しかし、このアノテーションの非応答バイアスが、特定のサンプリング方法やデータ生成プロセスにおいて UCB-EU の下で有害であるような設定も特徴付ける。 最後に,eコマースプラットフォームであるTaobaoから実世界のデータセットを評価する。 UCB-EUは、クリックインプレッションに基づいてトレーニングされた変換モデルに対して、大幅な性能向上をもたらすことを示す。 一般的に、この研究は、非応答型とアクティブラーニングによるモデル改善の相互作用をより概念化し、モデルの劣化を緩和する実用的な、容易に実装できる補正を提供するのに役立つ。

関連論文リスト

• Alternate Preference Optimization for Unlearning Factual Knowledge in Large Language Models [2.0962367975513496]
  機械学習は、特定のトレーニングデータの影響をモデルから効率的に排除することを目的としている。 既存の未学習手法は, 無視集合に関連する応答を抑制するために, 負のフィードバックのみに頼っている。 本稿では,AltPO(Alternate Preference Optimization)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-20T13:05:07Z)
• Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
  対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。 実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
  論文  参考訳（メタデータ） (2024-08-16T05:11:52Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
  我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
  論文  参考訳（メタデータ） (2022-02-28T08:55:12Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Message Passing Adaptive Resonance Theory for Online Active Semi-supervised Learning [30.19936050747407]
  オンラインのアクティブ半教師あり学習のためのメッセージパッシング適応共振理論(MPART)を提案する。 MPARTはラベルのないデータのクラスを推論し、トポロジグラフ上のノード間のメッセージパッシングを通じて情報的および代表的サンプルを選択する。 我々は,MPARTがオンラインのアクティブ学習環境において,競合モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-02T14:14:42Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。