論文の概要: Exploring Contrastive Learning for Long-Tailed Multi-Label Text Classification

• arxiv url: http://arxiv.org/abs/2404.08720v1
• Date: Fri, 12 Apr 2024 11:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 19:02:07.914742
• Title: Exploring Contrastive Learning for Long-Tailed Multi-Label Text Classification
• Title（参考訳）: 長大なマルチラベルテキスト分類のためのコントラスト学習の探索
• Authors: Alexandre Audibert, Aurélien Gauffre, Massih-Reza Amini,
• Abstract要約: マルチラベルテキスト分類のための新しいコントラスト損失関数を提案する。 マイクロF1スコアは、他の頻繁に採用される損失関数と一致するか、上回っている。 これは、3つのマルチラベルデータセットでMacro-F1スコアが大幅に改善されたことを示している。
• 参考スコア（独自算出の注目度）: 48.81069245141415
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Learning an effective representation in multi-label text classification (MLTC) is a significant challenge in NLP. This challenge arises from the inherent complexity of the task, which is shaped by two key factors: the intricate connections between labels and the widespread long-tailed distribution of the data. To overcome this issue, one potential approach involves integrating supervised contrastive learning with classical supervised loss functions. Although contrastive learning has shown remarkable performance in multi-class classification, its impact in the multi-label framework has not been thoroughly investigated. In this paper, we conduct an in-depth study of supervised contrastive learning and its influence on representation in MLTC context. We emphasize the importance of considering long-tailed data distributions to build a robust representation space, which effectively addresses two critical challenges associated with contrastive learning that we identify: the "lack of positives" and the "attraction-repulsion imbalance". Building on this insight, we introduce a novel contrastive loss function for MLTC. It attains Micro-F1 scores that either match or surpass those obtained with other frequently employed loss functions, and demonstrates a significant improvement in Macro-F1 scores across three multi-label datasets.
• Abstract（参考訳）: マルチラベルテキスト分類(MLTC)における効果的な表現の学習は,NLPにおいて重要な課題である。 この課題は、ラベル間の複雑な接続と、データの広範囲にわたる長期分布という、2つの重要な要素によって形成される、タスクの本質的な複雑さから生じる。 この問題を克服するためには、教師付きコントラスト学習と古典的な教師付き損失関数の統合が考えられる。 コントラスト学習は多クラス分類において顕著な性能を示したが、マルチラベルフレームワークへの影響は十分に研究されていない。 本稿では,教師付きコントラスト学習の詳細な研究とそのMLTC文脈における表現への影響について述べる。 我々は、ロバストな表現空間を構築するために、長い尾を持つデータ分布を考えることの重要性を強調し、これは我々が認識する対照的な学習に関連する2つの重要な課題、すなわち「正の欠如」と「誘引・反発の不均衡」に効果的に対処する。 この知見に基づいて,MLTCに新たなコントラスト損失関数を導入する。 マイクロF1スコアは、他の頻繁に採用されている損失関数と一致するか、あるいは上回っているものを獲得し、3つのマルチラベルデータセットでマクロF1スコアが大幅に改善されていることを示す。

関連論文リスト

• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• Towards Multi-view Graph Anomaly Detection with Similarity-Guided Contrastive Clustering [35.1801853090859]
  グラフ上の異常検出は多くの実世界のアプリケーションにおいて重要な役割を果たす。 類似性誘導型コントラスト損失により正規化されたオートエンコーダベースのクラスタリングフレームワークを提案し,異常ノードを検出する。
  論文  参考訳（メタデータ） (2024-09-15T15:41:59Z)
• Learning the Unlearned: Mitigating Feature Suppression in Contrastive Learning [45.25602203155762]
  自己監督型コントラスト学習は、ラベルのないデータから高品質な表現を導き出すのに有効であることが証明されている。 単目的学習とマルチモーダル学習の両方を妨げる大きな課題は、特徴抑制である。 本稿では,新しいモデルに依存しないマルチステージコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:13:33Z)
• Learning Prompt-Enhanced Context Features for Weakly-Supervised Video Anomaly Detection [37.99031842449251]
  弱い監督下での映像異常検出は重大な課題を呈する。 本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。 提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-06-26T06:45:16Z)
• Towards Integration of Discriminability and Robustness for Document-Level Relation Extraction [41.51148745387936]
  ドキュメントレベルの関係抽出(DocRE)は、ドキュメント内の長距離コンテキスト依存推論に依存するエンティティペアの関係を予測する。 本研究では,DocRE問題に対する差別性とロバスト性の両方をよりよく統合することを目的としている。 エントロピーの最小化と教師付きコントラスト学習を革新的にカスタマイズする。
  論文  参考訳（メタデータ） (2023-04-03T09:11:18Z)
• Deep Semi-supervised Learning with Double-Contrast of Features and Semantics [2.2230089845369094]
  本稿では,エンド・ツー・エンドの半教師あり学習における意味と特徴の二重コントラストを提案する。 我々は情報理論を活用し、意味論と特徴の二重コントラストの合理性を説明する。
  論文  参考訳（メタデータ） (2022-11-28T09:08:19Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
  本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。 我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。 これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
  論文  参考訳（メタデータ） (2020-08-08T03:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。