論文の概要: Multi-Similarity Contrastive Learning

• arxiv url: http://arxiv.org/abs/2307.02712v1
• Date: Thu, 6 Jul 2023 01:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 15:32:23.382610
• Title: Multi-Similarity Contrastive Learning
• Title（参考訳）: 多相性コントラスト学習
• Authors: Emily Mu, John Guttag, Maggie Makar
• Abstract要約: 本稿では,複数の類似度指標の監視を共同で活用することにより,一般化可能な埋め込みを学習する新しいマルチ相似コントラスト損失(MSCon)を提案する。 本手法は, 類似度の不確実性に基づいて, 比較類似度重み付けを自動的に学習する。 我々は、MSConでトレーニングされたネットワークが、ドメイン内およびドメイン外設定で最先端のベースラインより優れていることを実証的に示す。
• 参考スコア（独自算出の注目度）: 4.297070083645049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a similarity metric, contrastive methods learn a representation in which examples that are similar are pushed together and examples that are dissimilar are pulled apart. Contrastive learning techniques have been utilized extensively to learn representations for tasks ranging from image classification to caption generation. However, existing contrastive learning approaches can fail to generalize because they do not take into account the possibility of different similarity relations. In this paper, we propose a novel multi-similarity contrastive loss (MSCon), that learns generalizable embeddings by jointly utilizing supervision from multiple metrics of similarity. Our method automatically learns contrastive similarity weightings based on the uncertainty in the corresponding similarity, down-weighting uncertain tasks and leading to better out-of-domain generalization to new tasks. We show empirically that networks trained with MSCon outperform state-of-the-art baselines on in-domain and out-of-domain settings.
• Abstract（参考訳）: 類似度計量が与えられたとき、対照的な手法は、類似する例が一つにまとめられ、異なる例が引き離される表現を学ぶ。 画像分類からキャプション生成までのタスクの表現を学習するために,コントラスト学習技術が広く利用されている。 しかし、既存の対照的な学習アプローチは、異なる類似性関係の可能性を考慮していないため、一般化できない可能性がある。 本稿では,複数の類似度指標の監視を共同で活用することにより,一般化可能な埋め込みを学習する新しいマルチ相似コントラスト損失(MSCon)を提案する。 提案手法は,類似性の不確実性に基づいてコントラスト的類似度重み付けを自動的に学習し,未知のタスクの重み付けを行い,新たなタスクへのドメイン外一般化を改善する。 我々は、MSConでトレーニングされたネットワークが、ドメイン内およびドメイン外設定で最先端のベースラインより優れていることを実証的に示す。

関連論文リスト

• Extending Momentum Contrast with Cross Similarity Consistency Regularization [5.085461418671174]
  モーメントエンコーダユニットの遺産に基づく自己教師型表現学習手法であるExtended Momentum ContrastをMoCoファミリー構成で提案する。 交差一貫性規則の下では、任意の一対のイメージ(正あるいは負)に関連付けられた意味表現は、それらの相似性を維持するべきであると論じる。 我々は、標準のImagenet-1K線形ヘッド分類ベンチマークで競合性能を報告した。
  論文  参考訳（メタデータ） (2022-06-07T20:06:56Z)
• Unsupervised Voice-Face Representation Learning by Cross-Modal Prototype Contrast [34.58856143210749]
  同一性ラベルを使わずに,音声映像から音声表現を学習する手法を提案する。 これまでの研究では、音声と顔の相関を確立するために、クロスモーダルなインスタンス識別タスクが用いられてきた。 比較手法を生かし, 偽陰性の悪影響に抵抗し, 正の逸脱に抵抗するクロスモーダル・プロトタイプ・コントラッシブ・ラーニング(CMPC)を提案する。
  論文  参考訳（メタデータ） (2022-04-28T07:28:56Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Instance Similarity Learning for Unsupervised Feature Representation [83.31011038813459]
  教師なし特徴表現のための例類似性学習(ISL)手法を提案する。 我々はGAN(Generative Adversarial Networks)を用いて、基礎となる特徴多様体をマイニングする。 画像分類実験は, 最先端手法と比較して, 提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2021-08-05T16:42:06Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Cross-Domain Similarity Learning for Face Recognition in Unseen Domains [90.35908506994365]
  本研究では,cdt(cross-domain triplet, クロスドメイントリプレット)の損失を推測する新しいクロスドメインメトリック学習損失法を提案する。 CDT損失は、一つのドメインからコンパクトな特徴クラスタを強制することによって意味論的に意味のある特徴の学習を促進する。 本手法では,トレーニング中,注意深いハードペアサンプルマイニングおよびフィルタリング戦略は必要としない。
  論文  参考訳（メタデータ） (2021-03-12T19:48:01Z)
• Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning [41.85795493411269]
  状態間の行動類似度を測定するための理論的動機付け政策類似度指標(PSM)を導入する。 PSMは、これらの状態と将来の状態の最適ポリシーが類似している状態と高い類似性を割り当てる。 コントラッシブな表現学習手法を用いて任意の状態類似度指標を埋め込み、PSMをインスタンス化し、ポリシー類似度埋め込みを得る。
  論文  参考訳（メタデータ） (2021-01-13T18:55:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。