論文の概要: Heterogeneous Contrastive Learning

• arxiv url: http://arxiv.org/abs/2105.09401v1
• Date: Wed, 19 May 2021 21:01:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 13:43:58.827408
• Title: Heterogeneous Contrastive Learning
• Title（参考訳）: 不均一コントラスト学習
• Authors: Lecheng Zheng, Yada Zhu, Jingrui He, and Jinjun Xiong
• Abstract要約: 重み付けされた教師なしのコントラスト損失と重み付けされた教師付きコントラスト損失を組み合わせた統一的異種学習フレームワークを提案する。 実世界のデータセットを用いた実験結果から,提案手法の有効性と有効性を示した。
• 参考スコア（独自算出の注目度）: 45.93509060683946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advent of big data across multiple high-impact applications, we are often facing the challenge of complex heterogeneity. The newly collected data usually consist of multiple modalities and characterized with multiple labels, thus exhibiting the co-existence of multiple types of heterogeneity. Although state-of-the-art techniques are good at modeling the complex heterogeneity with sufficient label information, such label information can be quite expensive to obtain in real applications, leading to sub-optimal performance using these techniques. Inspired by the capability of contrastive learning to utilize rich unlabeled data for improving performance, in this paper, we propose a unified heterogeneous learning framework, which combines both weighted unsupervised contrastive loss and weighted supervised contrastive loss to model multiple types of heterogeneity. We also provide theoretical analyses showing that the proposed weighted supervised contrastive loss is the lower bound of the mutual information of two samples from the same class and the weighted unsupervised contrastive loss is the lower bound of the mutual information between the hidden representation of two views of the same sample. Experimental results on real-world data sets demonstrate the effectiveness and the efficiency of the proposed method modeling multiple types of heterogeneity.
• Abstract（参考訳）: 複数のハイインパクトアプリケーションにまたがるビッグデータの出現により、複雑な異質性という課題に直面していることが多い。 新たに収集されたデータは、通常、複数のモダリティで構成され、複数のラベルで特徴付けられるため、複数の種類の異質性の共存を示す。 最先端技術は、十分なラベル情報で複雑な不均一性をモデル化するのに長けているが、そのようなラベル情報は実際のアプリケーションで取得するのに非常に高価であり、これらの技術を用いた準最適性能をもたらす。 本稿では,リッチな非ラベルデータを活用したコントラスト学習の能力に着想を得て,重み付き非教師付きコントラスト損失と重み付き教師付きコントラスト損失とを組み合わせ,複数種類の不均質性をモデル化する統合型不均質学習フレームワークを提案する。 また,提案する重み付き教師付きコントラスト損失は同一クラスからの2つのサンプルの相互情報の下限であり,重み付き教師なしコントラスト損失は同一サンプルの2つのビューの隠れた表現間の相互情報の下限であることを示す理論的解析を行った。 実世界のデータセットにおける実験結果は,複数種類の不均一性をモデル化する提案手法の有効性と効率を示す。

関連論文リスト

• Towards Multi-view Graph Anomaly Detection with Similarity-Guided Contrastive Clustering [35.1801853090859]
  グラフ上の異常検出は多くの実世界のアプリケーションにおいて重要な役割を果たす。 類似性誘導型コントラスト損失により正規化されたオートエンコーダベースのクラスタリングフレームワークを提案し,異常ノードを検出する。
  論文  参考訳（メタデータ） (2024-09-15T15:41:59Z)
• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Robust Direct Learning for Causal Data Fusion [14.462235940634969]
  我々は、他のニュアンス関数から処理効果を分離するマルチソースデータを統合するためのフレームワークを提供する。 また,半パラメトリック効率理論の理論的洞察に基づく因果情報認識重み付け関数を提案する。
  論文  参考訳（メタデータ） (2022-11-01T03:33:22Z)
• Adversarial Lagrangian Integrated Contrastive Embedding for Limited Size Datasets [8.926248371832852]
  本研究では,小さなデータセットに対する新しい逆ラグランジアン統合コントラスト埋め込み(ALICE)法を提案する。 提案手法の精度向上とトレーニング収束性を示す。 種々の拡張手法を用いた新しい対角統合コントラストモデルについて検討した。
  論文  参考訳（メタデータ） (2022-10-06T23:59:28Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Scalable Regularised Joint Mixture Models [2.0686407686198263]
  多くの応用において、データは異なる基底分布を持つ潜在群にまたがるという意味で不均一である。 我々は,(i)明示的多変量特徴分布,(ii)高次元回帰モデル,(iii)潜在群ラベルの連成学習を可能にする異種データに対するアプローチを提案する。 このアプローチは明らかに高次元において有効であり、計算効率のためのデータ削減と、特徴数が大きければ鍵信号を保持する再重み付けスキームを組み合わせる。
  論文  参考訳（メタデータ） (2022-05-03T13:38:58Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。