論文の概要: Towards Domain-Agnostic Contrastive Learning

• arxiv url: http://arxiv.org/abs/2011.04419v2
• Date: Mon, 19 Jul 2021 20:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 23:58:08.557016
• Title: Towards Domain-Agnostic Contrastive Learning
• Title（参考訳）: ドメインに依存しないコントラスト学習に向けて
• Authors: Vikas Verma, Minh-Thang Luong, Kenji Kawaguchi, Hieu Pham, Quoc V. Le
• Abstract要約: そこで本研究では,DACLという対照的学習に対するドメインに依存しない新しいアプローチを提案する。 このアプローチの鍵となるのは、Mixupノイズを使用して、入力レベルと隠された状態レベルの両方で異なるデータサンプルを混合することで、類似した、異種なサンプルを作成することです。 以上の結果から,DACLはガウスノイズなどの他のドメインに依存しないノイズ発生手法よりも優れるだけでなく,SimCLRのようなドメイン固有の手法とうまく結合していることがわかった。
• 参考スコア（独自算出の注目度）: 103.40783553846751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent success, most contrastive self-supervised learning methods are domain-specific, relying heavily on data augmentation techniques that require knowledge about a particular domain, such as image cropping and rotation. To overcome such limitation, we propose a novel domain-agnostic approach to contrastive learning, named DACL, that is applicable to domains where invariances, and thus, data augmentation techniques, are not readily available. Key to our approach is the use of Mixup noise to create similar and dissimilar examples by mixing data samples differently either at the input or hidden-state levels. To demonstrate the effectiveness of DACL, we conduct experiments across various domains such as tabular data, images, and graphs. Our results show that DACL not only outperforms other domain-agnostic noising methods, such as Gaussian-noise, but also combines well with domain-specific methods, such as SimCLR, to improve self-supervised visual representation learning. Finally, we theoretically analyze our method and show advantages over the Gaussian-noise based contrastive learning approach.
• Abstract（参考訳）: 最近の成功にもかかわらず、最も対照的な自己教師付き学習手法はドメイン固有であり、画像の収穫や回転のような特定の領域に関する知識を必要とするデータ拡張技術に大きく依存している。 このような制限を克服するために,データ拡張技術が容易に利用できない領域に適用可能な,DACLと呼ばれる新しいドメインに依存しない対照的な学習手法を提案する。 私たちのアプローチの鍵は、データサンプルを入力レベルと隠れた状態レベルの両方で混合することで、類似した類似の例を作成するためにミックスアップノイズを使用することです。 DACLの有効性を示すため,表データや画像,グラフなど,さまざまな領域で実験を行った。 以上の結果から,daclはgaussian-noiseのような他のドメインに依存しないノージング手法よりも優れるだけでなく,simclrのようなドメイン固有の手法とうまく組み合わせることで,自己教師付き視覚表現学習を改善できることがわかった。 最後に,提案手法を理論的に解析し,ガウス雑音に基づくコントラスト学習アプローチに対する優位性を示す。

関連論文リスト

• Improving Anomaly Segmentation with Multi-Granularity Cross-Domain Alignment [17.086123737443714]
  異常セグメンテーションは、画像中の非定型物体を識別する上で重要な役割を担っている。 既存の手法は合成データに顕著な結果を示すが、合成データドメインと実世界のデータドメインの相違を考慮できないことが多い。 シーンと個々のサンプルレベルの両方で、ドメイン間の機能を調和させるのに適した、マルチグラニュラリティ・クロスドメインアライメントフレームワークを導入します。
  論文  参考訳（メタデータ） (2023-08-16T22:54:49Z)
• A Novel Cross-Perturbation for Single Domain Generalization [54.612933105967606]
  単一ドメインの一般化は、モデルが単一のソースドメインでトレーニングされたときに未知のドメインに一般化する能力を高めることを目的としている。 トレーニングデータの限られた多様性は、ドメイン不変の特徴の学習を妨げ、結果として一般化性能を損なう。 トレーニングデータの多様性を高めるために,CPerbを提案する。
  論文  参考訳（メタデータ） (2023-08-02T03:16:12Z)
• FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
  ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。 一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。 我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。 提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
  論文  参考訳（メタデータ） (2022-11-07T09:38:34Z)
• Label Distribution Learning for Generalizable Multi-source Person Re-identification [48.77206888171507]
  人物再識別(Re-ID)は,映像監視システムにおいて重要な技術である。 教師付きモデルを任意の未確認領域に直接適用することは困難である。 一般化可能な多ソース人物Re-IDタスクに対処する新しいラベル分散学習法(LDL)を提案する。
  論文  参考訳（メタデータ） (2022-04-12T15:59:10Z)
• Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
  本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。 我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。 ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
  論文  参考訳（メタデータ） (2022-02-10T06:23:56Z)
• Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
  ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。 低信頼度サンプルの処理による新しいコントラスト学習法を提案する。 提案手法を教師なしと半教師付きの両方のDA設定で評価する。
  論文  参考訳（メタデータ） (2022-02-06T15:45:45Z)
• Discrepancy Minimization in Domain Generalization with Generative Nearest Neighbors [13.047289562445242]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインでトレーニングされた機械学習モデルが、統計の異なるターゲットドメインでうまく一般化できないという、ドメインシフトの問題を扱う。 シフト対象領域の一般化を保証するのに失敗するソースドメイン全体にわたるドメイン不変表現を学習することにより、ドメイン一般化の問題を解決するために、複数のアプローチが提案されている。 本稿では,GNNDM(Generative Nearest Neighbor Based Discrepancy Minimization)法を提案する。
  論文  参考訳（メタデータ） (2020-07-28T14:54:25Z)
• Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation [56.694330303488435]
  マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。 簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-07-17T07:52:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。