論文の概要: Rethinking Positive Pairs in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2410.18200v2
• Date: Thu, 29 May 2025 07:25:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:32.688742
• Title: Rethinking Positive Pairs in Contrastive Learning
• Title（参考訳）: コントラスト学習におけるポジティブペアの再考
• Authors: Jiantao Wu, Sara Atito, Zhenhua Feng, Shentong Mo, Josef Kitler, Muhammad Awais,
• Abstract要約: SimLAPは任意のペアから視覚表現を学ぶためのフレームワークである。 観察の動機は、任意のクラスに対して意味的に異なるサンプルが類似性を示す部分空間が存在することである。 この現象は、任意のサンプルの類似性を最適化し、同時に可能な部分空間を学習する新しい学習方法に利用することができる。
• 参考スコア（独自算出の注目度）: 19.149235307036324
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The training methods in AI do involve semantically distinct pairs of samples. However, their role typically is to enhance the between class separability. The actual notion of similarity is normally learned from semantically identical pairs. This paper presents SimLAP: a simple framework for learning visual representation from arbitrary pairs. SimLAP explores the possibility of learning similarity from semantically distinct sample pairs. The approach is motivated by the observation that for any pair of classes there exists a subspace in which semantically distinct samples exhibit similarity. This phenomenon can be exploited for a novel method of learning, which optimises the similarity of an arbitrary pair of samples, while simultaneously learning the enabling subspace. The feasibility of the approach will be demonstrated experimentally and its merits discussed.
• Abstract（参考訳）: AIのトレーニング方法は、意味的に異なるサンプルのペアを含む。 しかし、その役割は一般的にクラス分離性を強化することである。 実際の類似性の概念は通常、意味論的に同一の対から学習される。 本稿では,任意のペアから視覚表現を学ぶためのシンプルなフレームワークであるSimLAPを提案する。 SimLAPは、意味的に異なるサンプルペアから類似性を学ぶ可能性を探る。 このアプローチは、任意のクラスに対して意味的に異なるサンプルが類似性を示す部分空間が存在するという観察によって動機づけられている。 この現象は、任意のサンプルの類似性を最適化し、同時に可能な部分空間を学習する新しい学習方法に利用することができる。 このアプローチの有効性は実験的に実証され、そのメリットが議論される。

関連論文リスト

• Weakly-Supervised Contrastive Learning for Imprecise Class Labels [50.57424331797865]
  正対と負対を定義するために「連続的意味的類似性」の概念を導入する。 弱教師付きコントラスト学習のためのグラフ理論フレームワークを提案する。 我々のフレームワークは非常に多用途であり、多くの弱い教師付き学習シナリオに適用できる。
  論文  参考訳（メタデータ） (2025-05-28T06:50:40Z)
• The "Law" of the Unconscious Contrastive Learner: Probabilistic Alignment of Unpaired Modalities [23.188014611990152]
  本稿では, 対比表現の幾何学的解釈と確率論的解釈について述べる。 これらの表現が確率的グラフィカルモデルと同じ推論の多くにどのように答えるかを示す。 分析では、事前学習されたコントラストモデルを用いた設定でのコントラスト表現と、強化学習における言語あいまいさの2つの新しい方法を提案する。
  論文  参考訳（メタデータ） (2025-01-20T08:10:15Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Prototypical Contrastive Learning through Alignment and Uniformity for Recommendation [6.790779112538357]
  提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。 具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。 明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
  論文  参考訳（メタデータ） (2024-02-03T08:19:26Z)
• Pairwise Similarity Learning is SimPLE [104.14303849615496]
  我々は、汎用的で重要な学習問題、ペアワイズ類似性学習(PSL)に焦点を当てる。 PSLは、オープンセットの顔認識、話者検証、画像検索、人物の再識別など、幅広い重要な応用を仮定する。 我々は、機能/プロキシの正規化も角マージンも必要としない、SimPLEと呼ばれる驚くほど単純なプロキシフリー手法を提案する。
  論文  参考訳（メタデータ） (2023-10-13T23:56:47Z)
• Learning by Sorting: Self-supervised Learning with Group Ordering Constraints [75.89238437237445]
  本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-01-05T11:17:55Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Adaptive Soft Contrastive Learning [19.45520684918576]
  本稿では,適応型ソフトコントラスト学習(ASCL)という,サンプル間のソフトな関係を導入する適応手法を提案する。 既存の自己教師付き学習フレームワークのための効果的で簡潔なプラグインモジュールとして、ASCLはいくつかのベンチマークで最高のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2022-07-22T16:01:07Z)
• Contrasting quadratic assignments for set-based representation learning [5.142415132534397]
  コントラスト学習の標準的なアプローチは、データの異なるビュー間の合意を最大化することです。 本研究では、個々のペアを考えるアプローチは、セット内およびセット間類似性の両方を考慮できないことに留意する。 我々は、オブジェクトを集合として対比することに焦点をあてて、個々のオブジェクトの対を対比する以上のことを提案する。
  論文  参考訳（メタデータ） (2022-05-31T14:14:36Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• SimMatch: Semi-supervised Learning with Similarity Matching [43.61802702362675]
  SimMatchは、意味的類似性とインスタンス類似性を考慮した、新しい半教師付き学習フレームワークである。 400エポックのトレーニングで、SimMatchは67.2%、Top-1の正確度は74.4%で、ImageNetでは1%と10%のラベルが付けられている。
  論文  参考訳（メタデータ） (2022-03-14T08:08:48Z)
• Instance Similarity Learning for Unsupervised Feature Representation [83.31011038813459]
  教師なし特徴表現のための例類似性学習(ISL)手法を提案する。 我々はGAN(Generative Adversarial Networks)を用いて、基礎となる特徴多様体をマイニングする。 画像分類実験は, 最先端手法と比較して, 提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2021-08-05T16:42:06Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。