論文の概要: Pretraining Respiratory Sound Representations using Metadata and Contrastive Learning

• arxiv url: http://arxiv.org/abs/2210.16192v3
• Date: Fri, 11 Aug 2023 11:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 17:53:37.016970
• Title: Pretraining Respiratory Sound Representations using Metadata and Contrastive Learning
• Title（参考訳）: メタデータとコントラスト学習を用いた呼吸音の事前学習
• Authors: Ilyass Moummad, Nicolas Farrugia
• Abstract要約: 教師付きコントラスト学習(Supervised contrastive learning)は、同じクラスラベルを共有するサンプルに類似した表現を学習するパラダイムである。 2つの異なるデータセットにおいて,呼吸異常の分類において,クロスエントロピーよりも優れていることを示す。 この研究は、教師付きコントラスト設定で複数のメタデータソースを使用する可能性を示唆している。
• 参考スコア（独自算出の注目度）: 1.827510863075184
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Methods based on supervised learning using annotations in an end-to-end fashion have been the state-of-the-art for classification problems. However, they may be limited in their generalization capability, especially in the low data regime. In this study, we address this issue using supervised contrastive learning combined with available metadata to solve multiple pretext tasks that learn a good representation of data. We apply our approach on respiratory sound classification. This task is suited for this setting as demographic information such as sex and age are correlated with presence of lung diseases, and learning a system that implicitly encode this information may better detect anomalies. Supervised contrastive learning is a paradigm that learns similar representations to samples sharing the same class labels and dissimilar representations to samples with different class labels. The feature extractor learned using this paradigm extract useful features from the data, and we show that it outperforms cross-entropy in classifying respiratory anomalies in two different datasets. We also show that learning representations using only metadata, without class labels, obtains similar performance as using cross entropy with those labels only. In addition, when combining class labels with metadata using multiple supervised contrastive learning, an extension of supervised contrastive learning solving an additional task of grouping patients within the same sex and age group, more informative features are learned. This work suggests the potential of using multiple metadata sources in supervised contrastive settings, in particular in settings with class imbalance and few data. Our code is released at https://github.com/ilyassmoummad/scl_icbhi2017
• Abstract（参考訳）: アノテーションを用いた教師あり学習に基づく手法は, 分類問題に対して最先端の手法である。 しかしながら、特に低データレジームでは、その一般化能力に制限がある可能性がある。 本研究では、教師付きコントラスト学習と利用可能なメタデータを組み合わせることで、データの優れた表現を学習する複数のプリテキストタスクを解決する。 我々は呼吸音の分類にアプローチを適用する。 この課題は、性別や年齢などの人口統計情報が肺疾患の存在と相関し、暗黙的にこの情報をエンコードするシステムを学ぶことで、異常を検出するのに適している。 教師付きコントラスト学習(supervised contrastive learning)は、同じクラスラベルを共有するサンプルと異なるクラスラベルを持つサンプルとの類似表現を学ぶパラダイムである。 本手法を用いて得られた特徴抽出器は,2つの異なるデータセットにおける呼吸異常の分類において,クロスエントロピーよりも優れていることを示す。 また,クラスラベルを使わずにメタデータのみを用いた学習表現は,それらのラベルのみを用いたクロスエントロピーと同様のパフォーマンスが得られることを示す。 さらに、複数の教師付きコントラスト学習を用いて、クラスラベルとメタデータを組み合わせる場合、同じ性別と年齢グループ内で患者をグループ化する追加タスクを解決する教師付きコントラスト学習の拡張により、より情報的な特徴が学習される。 この研究は、教師付きコントラスト設定、特にクラス不均衡と少ないデータの設定で複数のメタデータソースを使用する可能性を示唆している。 私たちのコードはhttps://github.com/ilyassmoummad/scl_icbhi2017でリリースされています。

関連論文リスト

• Are labels informative in semi-supervised learning? -- Estimating and leveraging the missing-data mechanism [4.675583319625962]
  半教師付き学習は、ラベルのないデータを利用して機械学習モデルを改善するための強力な技術である。 これは、あるクラスが他のクラスよりもラベル付けされる可能性が高い場合に発生する、情報的ラベルの存在に影響される可能性がある。 本稿では,データ不足のメカニズムを推定し,逆確率重み付けを用いてSSLアルゴリズムを劣化させることにより,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-15T09:18:46Z)
• Distinguishability Calibration to In-Context Learning [31.375797763897104]
  そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。 また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
  論文  参考訳（メタデータ） (2023-02-13T09:15:00Z)
• Association Graph Learning for Multi-Task Classification with Category Shifts [68.58829338426712]
  関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。 我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。 我々の手法は代表的基準よりも一貫して性能が良い。
  論文  参考訳（メタデータ） (2022-10-10T12:37:41Z)
• GuidedMix-Net: Semi-supervised Semantic Segmentation by Using Labeled Images as Reference [90.5402652758316]
  半教師付きセマンティックセマンティックセグメンテーションのための新しい手法である GuidedMix-Net を提案する。 ラベル付き情報を使用して、ラベルなしのインスタンスの学習をガイドする。 競合セグメンテーションの精度を達成し、mIoUを以前のアプローチに比べて+7$%大きく改善する。
  論文  参考訳（メタデータ） (2021-12-28T06:48:03Z)
• Gaussian Mixture Variational Autoencoder with Contrastive Learning for Multi-Label Classification [27.043136219527767]
  本稿では,新しいコントラスト学習促進型マルチラベル予測モデルを提案する。 教師付き環境でのコントラスト学習を用いることで,ラベル情報を効果的に活用することができる。 学習した埋め込みがラベルとラベルの相互作用の解釈に洞察を与えることを示す。
  論文  参考訳（メタデータ） (2021-12-02T04:23:34Z)
• Self-Supervised Learning for Fine-Grained Image Classification [0.0]
  きめ細かいデータセットは通常、分類プロセスを支援するために、クラスラベルとともにバウンディングボックスアノテーションを提供する。 一方、自己教師付き学習では、自由に利用可能なデータを利用してラベルとして機能する監視信号を生成する。 我々の考えは、モデルが微細な画像クラスの有用な表現を学習できるように、自己スーパービジョンを活用することである。
  論文  参考訳（メタデータ） (2021-07-29T14:01:31Z)
• i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning [117.63815437385321]
  対照的な表現学習を改善するために, 単純で効果的なドメインに依存しない正規化戦略i-Mixを提案する。 実験では、i-Mixはドメイン間の学習表現の質を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2020-10-17T23:32:26Z)
• Learning Image Labels On-the-fly for Training Robust Classification Models [13.669654965671604]
  ノイズの多いアノテーション(例えば、異なるアルゴリズムベースのラベル付け子から)を一緒に利用し、相互に分類タスクの学習に役立てることができるかを示す。 メタトレーニングベースのラベルサンプリングモジュールは、追加のバックプロパゲーションプロセスを通じてモデル学習の恩恵を受けるラベルに出席するように設計されている。
  論文  参考訳（メタデータ） (2020-09-22T05:38:44Z)
• ATSO: Asynchronous Teacher-Student Optimization for Semi-Supervised Medical Image Segmentation [99.90263375737362]
  教師-学生最適化の非同期版であるATSOを提案する。 ATSOはラベルのないデータを2つのサブセットに分割し、モデルの微調整に1つのサブセットを交互に使用し、他のサブセットのラベルを更新する。 医用画像のセグメンテーションデータセットを2つ評価し,様々な半教師付き環境において優れた性能を示す。
  論文  参考訳（メタデータ） (2020-06-24T04:05:12Z)
• Automatically Discovering and Learning New Visual Categories with Ranking Statistics [145.89790963544314]
  我々は,他のクラスをラベル付けした画像コレクションにおいて,新しいクラスを発見する問題に対処する。 汎用クラスタリングモデルを学び、後者を用いて、非競合データ中の新しいクラスを識別する。 我々は,標準分類ベンチマークに対するアプローチと,新しいカテゴリー発見法の性能を,有意なマージンで評価した。
  論文  参考訳（メタデータ） (2020-02-13T18:53:32Z)
• Learning from Noisy Similar and Dissimilar Data [84.76686918337134]
  ノイズSとDラベル付きデータから分類器を学習する方法を示す。 また、このような相互監督データからの学習と、通常のクラスラベルデータからの学習との間に重要な関連性を示す。
  論文  参考訳（メタデータ） (2020-02-03T19:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。