論文の概要: i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2010.08887v2
• Date: Thu, 18 Mar 2021 07:13:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 11:41:32.648997
• Title: i-Mix: A Domain-Agnostic Strategy for Contrastive Representation Learning
• Title（参考訳）: i-mix:コントラスト表現学習のためのドメイン非依存戦略
• Authors: Kibok Lee, Yian Zhu, Kihyuk Sohn, Chun-Liang Li, Jinwoo Shin, Honglak Lee
• Abstract要約: 対照的な表現学習を改善するために, 単純で効果的なドメインに依存しない正規化戦略i-Mixを提案する。 実験では、i-Mixはドメイン間の学習表現の質を一貫して改善することを示した。
• 参考スコア（独自算出の注目度）: 117.63815437385321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive representation learning has shown to be effective to learn representations from unlabeled data. However, much progress has been made in vision domains relying on data augmentations carefully designed using domain knowledge. In this work, we propose i-Mix, a simple yet effective domain-agnostic regularization strategy for improving contrastive representation learning. We cast contrastive learning as training a non-parametric classifier by assigning a unique virtual class to each data in a batch. Then, data instances are mixed in both the input and virtual label spaces, providing more augmented data during training. In experiments, we demonstrate that i-Mix consistently improves the quality of learned representations across domains, including image, speech, and tabular data. Furthermore, we confirm its regularization effect via extensive ablation studies across model and dataset sizes. The code is available at https://github.com/kibok90/imix.
• Abstract（参考訳）: 対照表現学習はラベルのないデータから表現を学ぶのに有効であることが示されている。 しかし、視覚領域における多くの進歩は、ドメイン知識を用いて慎重に設計されたデータ拡張に依存している。 本稿では,コントラスト表現学習を改善するための,単純かつ効果的なドメイン非依存正規化戦略であるi-mixを提案する。 バッチ内の各データにユニークな仮想クラスを割り当てることで,非パラメトリック分類器のトレーニングとしてコントラスト学習を行った。 そして、入力と仮想ラベルスペースの両方でデータインスタンスが混在し、トレーニング中にさらに拡張されたデータを提供する。 実験では、i-mixが画像、音声、表データを含むドメイン間の学習表現の品質を一貫して向上させることを示す。 さらに、モデルおよびデータセットサイズにわたる広範囲なアブレーション研究により、その正規化効果を確認する。 コードはhttps://github.com/kibok90/imixで入手できる。

関連論文リスト

• SiamSeg: Self-Training with Contrastive Learning for Unsupervised Domain Adaptation Semantic Segmentation in Remote Sensing [14.007392647145448]
  UDAは、ラベル付きソースドメインデータをトレーニングしながら、ラベルなしのターゲットドメインデータからモデルを学習することを可能にする。 コントラスト学習を UDA に統合し,セマンティック情報を取得する能力を向上させることを提案する。 我々のSimSegメソッドは既存の手法より優れ、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-10-17T11:59:39Z)
• Improving Deep Metric Learning by Divide and Conquer [11.380358587116683]
  ディープ・メトリック・ラーニング(DML)は多くのコンピュータ・ビジョン・アプリケーションの基盤となっている。 入力ドメインから埋め込み空間へのマッピングを学習することを目的としている。 埋め込み空間とデータを階層的に小さな部分に分割することで、より表現力のある表現を構築することを提案する。
  論文  参考訳（メタデータ） (2021-09-09T02:57:34Z)
• ChessMix: Spatial Context Data Augmentation for Remote Sensing Semantic Segmentation [1.0152838128195467]
  ChessMixは、データセットに変換されたミニパッチをチェスボードのようなグリッドに混ぜることで、新しい合成画像を生成する。 3つのよく知られたリモートセンシングデータセットの結果から、ChessMixは少ないラベル付きピクセルでオブジェクトのセグメンテーションを改善することができることが示された。
  論文  参考訳（メタデータ） (2021-08-26T01:01:43Z)
• MixStyle Neural Networks for Domain Generalization and Adaptation [122.36901703868321]
  MixStyleは、データ収集やモデルのキャパシティ向上を必要とせずに、ドメインの一般化性能を向上させるプラグイン・アンド・プレイモジュールである。 実験の結果,MixStyleは画像認識,インスタンス検索,強化学習など幅広いタスクにおいて,分布外一般化性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-07-05T14:29:19Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised Pre-Training [67.71228426496013]
  事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。 複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
  論文  参考訳（メタデータ） (2021-04-02T12:53:15Z)
• DomainMix: Learning Generalizable Person Re-Identification Without Human Annotations [89.78473564527688]
  本稿では,ラベル付き合成データセットとラベル付き実世界のデータセットを用いてユニバーサルモデルをトレーニングする方法を示す。 このように、人間のアノテーションはもはや不要であり、大規模で多様な現実世界のデータセットにスケーラブルである。 実験結果から,提案手法は完全な人間のアノテーションで訓練されたアノテーションとほぼ同等であることがわかった。
  論文  参考訳（メタデータ） (2020-11-24T08:15:53Z)
• Self-Supervised Domain Adaptation with Consistency Training [0.2462953128215087]
  画像分類における教師なし領域適応の問題点を考察する。 ラベルのないデータをある種の変換で拡張することにより、自己教師付きプレテキストタスクを作成する。 我々は、拡張データの表現を元のデータと整合するように強制する。
  論文  参考訳（メタデータ） (2020-10-15T06:03:47Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。