論文の概要: Enhancing Contrastive Learning Inspired by the Philosophy of "The Blind Men and the Elephant"

• arxiv url: http://arxiv.org/abs/2412.16522v1
• Date: Sat, 21 Dec 2024 07:50:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:30.505002
• Title: Enhancing Contrastive Learning Inspired by the Philosophy of "The Blind Men and the Elephant"
• Title（参考訳）: 盲人とエレファントの哲学に触発されたコントラスト学習の促進
• Authors: Yudong Zhang, Ruobing Xie, Jiansheng Chen, Xingwu Sun, Zhanhui Kang, Yu Wang,
• Abstract要約: コントラスト学習において、挑戦的な正のペアを生成するために、JointCropとJointBlurを導入する。 プラグイン・アンド・プレイのフレームワークとして、JointCropとJointBlurは、SimCLR、BYOL、MoCo v1、MoCo v2、MoCo v3、SimSiam、Dinoのベースラインのパフォーマンスを向上させる。
• 参考スコア（独自算出の注目度）: 29.19909246476688
• License:
• Abstract: Contrastive learning is a prevalent technique in self-supervised vision representation learning, typically generating positive pairs by applying two data augmentations to the same image. Designing effective data augmentation strategies is crucial for the success of contrastive learning. Inspired by the story of the blind men and the elephant, we introduce JointCrop and JointBlur. These methods generate more challenging positive pairs by leveraging the joint distribution of the two augmentation parameters, thereby enabling contrastive learning to acquire more effective feature representations. To the best of our knowledge, this is the first effort to explicitly incorporate the joint distribution of two data augmentation parameters into contrastive learning. As a plug-and-play framework without additional computational overhead, JointCrop and JointBlur enhance the performance of SimCLR, BYOL, MoCo v1, MoCo v2, MoCo v3, SimSiam, and Dino baselines with notable improvements.
• Abstract（参考訳）: コントラスト学習(Contrastive learning)は、自己監督型視覚表現学習において一般的な手法であり、通常、同じ画像に2つのデータ拡張を適用して正のペアを生成する。 効果的なデータ拡張戦略を設計することは、対照的な学習の成功に不可欠である。 盲人と象の物語に触発されて、JointCropとJointBlurを紹介します。 これらの手法は、2つの拡張パラメータの結合分布を利用してより困難な正のペアを生成し、対照的な学習によりより効果的な特徴表現を得ることができる。 我々の知る限りでは、これは2つのデータ拡張パラメータの合同分布を対照的な学習に明示的に組み込む最初の試みである。 追加の計算オーバーヘッドのないプラグイン・アンド・プレイのフレームワークとして、JointCropとJointBlurは、SimCLR、BYOL、MoCo v1、MoCo v2、MoCo v3、SimSiam、Dinoのベースラインのパフォーマンスを顕著に改善した。

関連論文リスト

• Feature Augmentation for Self-supervised Contrastive Learning: A Closer Look [28.350278251132078]
  本稿では,機能拡張(Feature Augmentation)として知られる機能空間でデータ拡張を行う統一フレームワークを提案する。 この戦略はドメインに依存しないため、元のものと同様の機能が追加され、データの多様性が向上する。
  論文  参考訳（メタデータ） (2024-10-16T09:25:11Z)
• TwinCL: A Twin Graph Contrastive Learning Model for Collaborative Filtering [20.26347686022996]
  本研究では,従来の拡張手法の冗長性を実証し,ランダム拡張の代わりにツインエンコーダを導入する。 提案したTwin Graph Contrastive Learningモデル -- TwinCL -- は、ユーザとアイテムの埋め込みとツインエンコーダからの表現の正のペアを調整する。 理論的解析と実験結果から,提案モデルが推薦精度の向上と学習効率の向上に寄与することが示された。
  論文  参考訳（メタデータ） (2024-09-27T22:31:08Z)
• Dual-perspective Cross Contrastive Learning in Graph Transformers [33.18813968554711]
  グラフコントラスト学習(GCL)は、グラフ表現を傾けるための一般的な手法である。 本稿では,DC-GCL(Double-perspective Cross Graph contrastive Learning)というフレームワークを提案する。 DC-GCLには、正のサンプルの多様性と信頼性を高めるために設計された3つの修正が含まれている。
  論文  参考訳（メタデータ） (2024-06-01T11:11:49Z)
• Visual Commonsense based Heterogeneous Graph Contrastive Learning [79.22206720896664]
  視覚的推論タスクをより良く仕上げるための異種グラフコントラスト学習法を提案する。 本手法はプラグイン・アンド・プレイ方式として設計されており,多種多様な代表手法と迅速かつ容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-11-11T12:01:18Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• Hierarchical Consistent Contrastive Learning for Skeleton-Based Action Recognition with Growing Augmentations [33.68311764817763]
  骨格に基づく行動認識のための一般的な階層的一貫したコントラスト学習フレームワーク(HiCLR)を提案する。 具体的には、まず段階的に増大する拡張ポリシーを設計し、複数の順序の正のペアを生成する。 そこで,方向クラスタリング操作による階層的整合性を実現するために,非対称な損失を提案する。
  論文  参考訳（メタデータ） (2022-11-24T08:09:50Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• ParamCrop: Parametric Cubic Cropping for Video Contrastive Learning [35.577788907544964]
  ビデオコントラスト学習のためのパラメトリック立方根刈り作業ParamCropを提案する。 ParamCropは、対向目的を用いてビデオバックボーンと同時に訓練され、データから最適な収穫戦略を学ぶ。 2つの拡張ビュー間の中心距離とIoUは、ParamCropによって適応的に制御されている。
  論文  参考訳（メタデータ） (2021-08-24T03:18:12Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding [67.61357003974153]
  我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。 CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。 すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
  論文  参考訳（メタデータ） (2020-10-16T23:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。