論文の概要: Multi-Label Contrastive Learning : A Comprehensive Study

• arxiv url: http://arxiv.org/abs/2412.00101v2
• Date: Fri, 03 Jan 2025 13:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:09:23.115409
• Title: Multi-Label Contrastive Learning : A Comprehensive Study
• Title（参考訳）: マルチラベルコントラスト学習 : 総合的研究
• Authors: Alexandre Audibert, Aurélien Gauffre, Massih-Reza Amini,
• Abstract要約: マルチラベルの分類は、研究と産業の両方において重要な領域として現れてきた。 対照的な学習をマルチラベル分類に適用することは、ユニークな課題である。 多様な環境における多ラベル分類のためのコントラスト学習損失の詳細な研究を行う。
• 参考スコア（独自算出の注目度）: 48.81069245141415
• License:
• Abstract: Multi-label classification, which involves assigning multiple labels to a single input, has emerged as a key area in both research and industry due to its wide-ranging applications. Designing effective loss functions is crucial for optimizing deep neural networks for this task, as they significantly influence model performance and efficiency. Traditional loss functions, which often maximize likelihood under the assumption of label independence, may struggle to capture complex label relationships. Recent research has turned to supervised contrastive learning, a method that aims to create a structured representation space by bringing similar instances closer together and pushing dissimilar ones apart. Although contrastive learning offers a promising approach, applying it to multi-label classification presents unique challenges, particularly in managing label interactions and data structure. In this paper, we conduct an in-depth study of contrastive learning loss for multi-label classification across diverse settings. These include datasets with both small and large numbers of labels, datasets with varying amounts of training data, and applications in both computer vision and natural language processing. Our empirical results indicate that the promising outcomes of contrastive learning are attributable not only to the consideration of label interactions but also to the robust optimization scheme of the contrastive loss. Furthermore, while the supervised contrastive loss function faces challenges with datasets containing a small number of labels and ranking-based metrics, it demonstrates excellent performance, particularly in terms of Macro-F1, on datasets with a large number of labels.
• Abstract（参考訳）: 複数のラベルを1つの入力に割り当てるマルチラベル分類は、広範に応用されているため、研究と産業の両方において重要な領域となっている。 モデルの性能と効率に大きな影響を与えるため、このタスクのためにディープニューラルネットワークを最適化するためには、効果的な損失関数の設計が不可欠である。 従来の損失関数は、しばしばラベル独立を前提とした可能性の最大化を図り、複雑なラベルの関係を捉えるのに苦労する。 近年の研究では、類似したインスタンスを近接させ、異なるインスタンスを分割することで、構造化された表現空間を作成することを目的とした、教師付きコントラスト学習に転換している。 対照的な学習は、有望なアプローチを提供するが、それをマルチラベル分類に適用することは、特にラベルの相互作用やデータ構造を管理する上で、ユニークな課題を示す。 本稿では,多言語分類におけるコントラスト学習損失の詳細な研究を行う。 これには、小さなラベルと大量のラベルを持つデータセット、さまざまな量のトレーニングデータを持つデータセット、コンピュータビジョンと自然言語処理の両方のアプリケーションが含まれる。 実験結果から, コントラスト学習の有望な成果は, ラベル相互作用だけでなく, コントラスト学習のロバストな最適化スキームにも寄与することが示唆された。 さらに、教師付きコントラスト損失関数は、少数のラベルとランキングベースのメトリクスを含むデータセットで課題に直面しているが、多くのラベルを持つデータセットでは、特にマクロF1の観点から、優れたパフォーマンスを示している。

関連論文リスト

• Similarity-Dissimilarity Loss with Supervised Contrastive Learning for Multi-label Classification [11.499489446062054]
  マルチラベル分類のためのコントラスト学習を用いた類似性-類似性損失を提案する。 提案する損失は、教師付きコントラスト学習パラダイムの下で、すべてのエンコーダの性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-10-17T11:12:55Z)
• Towards Multi-view Graph Anomaly Detection with Similarity-Guided Contrastive Clustering [35.1801853090859]
  グラフ上の異常検出は多くの実世界のアプリケーションにおいて重要な役割を果たす。 類似性誘導型コントラスト損失により正規化されたオートエンコーダベースのクラスタリングフレームワークを提案し,異常ノードを検出する。
  論文  参考訳（メタデータ） (2024-09-15T15:41:59Z)
• Exploring Contrastive Learning for Long-Tailed Multi-Label Text Classification [48.81069245141415]
  マルチラベルテキスト分類のための新しいコントラスト損失関数を提案する。 マイクロF1スコアは、他の頻繁に採用される損失関数と一致するか、上回っている。 これは、3つのマルチラベルデータセットでMacro-F1スコアが大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2024-04-12T11:12:16Z)
• Label Dropout: Improved Deep Learning Echocardiography Segmentation Using Multiple Datasets With Domain Shift and Partial Labelling [3.2322708710124815]
  本稿では,ドメイン特性とラベルの有無を関連付ける新しいラベルドロップアウト方式を提案する。 ラベルのドロップアウトは,複数の部分ラベル付きデータセットを用いたトレーニングにおいて,2つの心構造に対して62%,25%のエコーセグメンテーションDiceスコアを改善することを実証した。
  論文  参考訳（メタデータ） (2024-03-12T16:57:56Z)
• Learning Semantic Segmentation from Multiple Datasets with Label Shifts [101.24334184653355]
  本論文では,ラベル空間が異なる複数のデータセットを対象としたモデルの自動学習手法であるUniSegを提案する。 具体的には,ラベルの相反と共起を考慮に入れた2つの損失を提案する。
  論文  参考訳（メタデータ） (2022-02-28T18:55:19Z)
• GuidedMix-Net: Learning to Improve Pseudo Masks Using Labeled Images as Reference [153.354332374204]
  半教師付きセマンティックセマンティックセグメンテーションのための新しい手法である GuidedMix-Net を提案する。 まず、ラベル付きデータとラベルなしデータの間に特徴アライメントの目的を導入し、類似した画像対をキャプチャする。 MITransは、ラベルなしデータのさらなるプログレッシブな精細化のための強力な知識モジュールであることが示されている。 ラベル付きデータに対する教師付き学習とともに、ラベル付きデータの予測が生成した擬似マスクとともに学習される。
  論文  参考訳（メタデータ） (2021-06-29T02:48:45Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。