論文の概要: DEUCE: Dual-diversity Enhancement and Uncertainty-awareness for Cold-start Active Learning

• arxiv url: http://arxiv.org/abs/2502.00305v1
• Date: Sat, 01 Feb 2025 04:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:09.816927
• Title: DEUCE: Dual-diversity Enhancement and Uncertainty-awareness for Cold-start Active Learning
• Title（参考訳）: DEUCE: コールドスタート型アクティブラーニングのための二重多様性向上と不確かさ認識
• Authors: Jiaxin Guo, C. L. Philip Chen, Shuzhen Li, Tong Zhang,
• Abstract要約: コールドスタートアクティブラーニング(CSAL)は、手動アノテーションのためのラベルなしデータセットから貴重なインスタンスを選択する。 既存のCSAL手法は、弱いクラスと強い代表例を見落とし、バイアス学習をもたらす。 本稿ではCSALのための新しい二変量拡張および不確実性認識フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 54.35107462768146
• License:
• Abstract: Cold-start active learning (CSAL) selects valuable instances from an unlabeled dataset for manual annotation. It provides high-quality data at a low annotation cost for label-scarce text classification. However, existing CSAL methods overlook weak classes and hard representative examples, resulting in biased learning. To address these issues, this paper proposes a novel dual-diversity enhancing and uncertainty-aware (DEUCE) framework for CSAL. Specifically, DEUCE leverages a pretrained language model (PLM) to efficiently extract textual representations, class predictions, and predictive uncertainty. Then, it constructs a Dual-Neighbor Graph (DNG) to combine information on both textual diversity and class diversity, ensuring a balanced data distribution. It further propagates uncertainty information via density-based clustering to select hard representative instances. DEUCE performs well in selecting class-balanced and hard representative data by dual-diversity and informativeness. Experiments on six NLP datasets demonstrate the superiority and efficiency of DEUCE.
• Abstract（参考訳）: コールドスタートアクティブラーニング(CSAL)は、手動アノテーションのためのラベルなしデータセットから貴重なインスタンスを選択する。 ラベルスカーステキスト分類のための低アノテーションコストで高品質なデータを提供する。 しかし、既存のCSAL手法は弱いクラスや強い代表例を見落とし、バイアス学習をもたらす。 これらの課題に対処するために,CSALのための新しい二変量拡張・不確実性認識(DEUCE)フレームワークを提案する。 具体的には、事前訓練された言語モデル(PLM)を活用して、テキスト表現、クラス予測、予測の不確実性を効率的に抽出する。 次に、DNG(Dual-Neighbor Graph)を構築し、テキストの多様性とクラスの多様性の両方に関する情報を組み合わせて、バランスの取れたデータの分散を保証する。 さらに、密度ベースのクラスタリングを通じて不確実情報を伝播して、ハードな代表インスタンスを選択する。 DEUCEは、二重の多様性と情報性によって、クラスバランスとハードな代表データを選択するのによく機能する。 6つのNLPデータセットの実験は、DEUCEの優位性と効率を実証している。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• SEER-ZSL: Semantic Encoder-Enhanced Representations for Generalized Zero-Shot Learning [0.6792605600335813]
  Zero-Shot Learning (ZSL)は、トレーニング中に見えないカテゴリを特定するという課題を示す。 ゼロショット学習のためのセマンティック強化表現(SEER-ZSL)を提案する。 まず,確率的エンコーダを用いて意味のある意味情報を抽出し,意味的一貫性とロバスト性を高めることを目的とする。 第2に、学習したデータ分布を逆向きに訓練した発電機で利用することにより、視覚空間を蒸留し、第3に、未確認なカテゴリを真のデータ多様体にマッピングできるようにする。
  論文  参考訳（メタデータ） (2023-12-20T15:18:51Z)
• DualMatch: Robust Semi-Supervised Learning with Dual-Level Interaction [10.775623936099173]
  従来の半教師付き学習手法は、通常、異なるデータ拡張ビューのモデル予測を単一レベルのインタラクション方法で一致させる。 本稿では,DualMatchと呼ばれる新しいSSL方式を提案する。 標準SSL設定では、SOTA法と比較して9%のエラー削減が達成されるが、より困難なクラス不均衡設定でも6%のエラー削減が達成できる。
  論文  参考訳（メタデータ） (2023-10-25T08:34:05Z)
• Crowd-Certain: Label Aggregation in Crowdsourced and Ensemble Learning Classification [0.0]
  クラウドソースおよびアンサンブル学習分類タスクにおけるラベルアグリゲーションのための新しいアプローチであるCrowd-Certainを紹介する。 提案手法は,アノテータと訓練された分類器の整合性を利用して,各アノテータの信頼性スコアを決定する。 我々は10の異なるデータセットにまたがる10の既存手法に対するアプローチを広範囲に評価し、それぞれに異なる数のアノテータをラベル付けした。
  論文  参考訳（メタデータ） (2023-10-25T01:58:37Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Overcoming Overconfidence for Active Learning [1.2776312584227847]
  本稿では,アクティブな学習シナリオで発生する過信の問題に対処する2つの新しい手法を提案する。 1つ目はCross-Mix-and-Mix(CMaM)と呼ばれる拡張戦略で、限られたトレーニング分布を拡張してモデルを校正することを目的としている。 2つ目は Ranked Margin Sampling (RankedMS) という選択戦略である。
  論文  参考訳（メタデータ） (2023-08-21T09:04:54Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。