論文の概要: Class-Aware Contrastive Optimization for Imbalanced Text Classification

• arxiv url: http://arxiv.org/abs/2410.22197v1
• Date: Tue, 29 Oct 2024 16:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:40:55.565815
• Title: Class-Aware Contrastive Optimization for Imbalanced Text Classification
• Title（参考訳）: 不均衡テキスト分類のためのクラスアウェアコントラスト最適化
• Authors: Grigorii Khvatskii, Nuno Moniz, Khoa Doan, Nitesh V Chawla,
• Abstract要約: クラス認識のコントラスト最適化とデノベーションオートエンコーダを組み合わせることで、不均衡なテキスト分類タスクにうまく取り組むことができることを示す。 提案手法は,多種多様なテキストデータセットにおける顕著な性能向上を示す。
• 参考スコア（独自算出の注目度）: 19.537124894139833
• License:
• Abstract: The unique characteristics of text data make classification tasks a complex problem. Advances in unsupervised and semi-supervised learning and autoencoder architectures addressed several challenges. However, they still struggle with imbalanced text classification tasks, a common scenario in real-world applications, demonstrating a tendency to produce embeddings with unfavorable properties, such as class overlap. In this paper, we show that leveraging class-aware contrastive optimization combined with denoising autoencoders can successfully tackle imbalanced text classification tasks, achieving better performance than the current state-of-the-art. Concretely, our proposal combines reconstruction loss with contrastive class separation in the embedding space, allowing a better balance between the truthfulness of the generated embeddings and the model's ability to separate different classes. Compared with an extensive set of traditional and state-of-the-art competing methods, our proposal demonstrates a notable increase in performance across a wide variety of text datasets.
• Abstract（参考訳）: テキストデータのユニークな特徴は、分類タスクを複雑な問題にする。 教師なし、半教師なしの学習とオートエンコーダアーキテクチャの進歩は、いくつかの課題に対処した。 しかし、現実のアプリケーションでは一般的なシナリオである不均衡なテキスト分類タスクに苦慮し、クラスオーバーラップのような好ましくない性質を持つ埋め込みを生成する傾向を示している。 本稿では,クラス認識のコントラスト最適化とデノナイズ・オートエンコーダを組み合わせることで,不均衡なテキスト分類タスクに対処し,現在の最先端技術よりも優れた性能を実現することができることを示す。 具体的には, 組込み空間における再構成損失と対照的なクラス分離を組み合わせ, 生成した組込みの真しさと, 異なるクラスを分離するモデルの能力とのバランスを良くする。 従来の競合手法や最先端の競合手法と比較して,提案手法は多種多様なテキストデータセットにおいて顕著な性能向上を示す。

関連論文リスト

• Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
  我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。 私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T11:33:49Z)
• ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification [40.808421462004866]
  テキスト分類における識別的表現と過剰適合の両問題に対処するContrastNetを提案する。 8つの数ショットのテキスト分類データセットの実験は、ContrastNetが現在の最先端モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-16T08:22:17Z)
• Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation [40.09476732999614]
  マスクの提案モデルは、ゼロショットセマンティックセグメンテーションの性能を大幅に改善した。 トレーニング中にバックグラウンドを埋め込むことは問題であり、結果として得られたモデルが過剰に学習し、正しいラベルではなく、すべての見えないクラスをバックグラウンドクラスとして割り当てる傾向がある。 本稿では,学習中の背景埋め込みの使用を回避し,テキスト埋め込みとマスク提案のセマンティックな関係を類似度スコアのランク付けにより活用する新しいクラス拡張損失を提案する。
  論文  参考訳（メタデータ） (2023-01-18T06:55:02Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
  フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。 既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。 そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T21:42:31Z)
• CLLD: Contrastive Learning with Label Distance for Text Classificatioin [0.6299766708197883]
  コントラストクラスを学習するためのCLLD(Contrastive Learning with Label Distance)を提案する。 CLLDは、ラベルの割り当てに繋がる微妙な違いの中で、柔軟性を保証する。 実験の結果,学習したラベル距離は,クラス間の対立性を緩和することが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T07:07:14Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Active Hybrid Classification [79.02441914023811]
  本論文では,クラスタとマシンが分類問題にどう対応できるかを示す。 本稿では,活発な学習と群集分類を編成し,それらを活発なサイクルで組み合わせるアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-01-21T21:09:07Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。