論文の概要: Context-Enriched Contrastive Loss: Enhancing Presentation of Inherent Sample Connections in Contrastive Learning Framework
- arxiv url: http://arxiv.org/abs/2512.02152v1
- Date: Mon, 01 Dec 2025 19:26:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-03 21:04:45.579441
- Title: Context-Enriched Contrastive Loss: Enhancing Presentation of Inherent Sample Connections in Contrastive Learning Framework
- Title（参考訳）: コンテクスト・コントラスト・ロス:コントラスト・ラーニング・フレームワークにおけるインジェクト・サンプル・コネクションの提示の促進
- Authors: Haojin Deng, Yimin Yang,
- Abstract要約: 対照的な学習において、対照的な損失関数は、回転や収穫といった技術を通してサンプル間の類似性を識別する上で重要な役割を担っている。
本稿では,2つの収束目標を包含することで,学習効率を同時に向上し,情報歪みに対処するコンテキスト強化コントラスト損失関数を提案する。
- 参考スコア（独自算出の注目度）: 5.906578607951289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning has gained popularity and pushes state-of-the-art performance across numerous large-scale benchmarks. In contrastive learning, the contrastive loss function plays a pivotal role in discerning similarities between samples through techniques such as rotation or cropping. However, this learning mechanism can also introduce information distortion from the augmented samples. This is because the trained model may develop a significant overreliance on information from samples with identical labels, while concurrently neglecting positive pairs that originate from the same initial image, especially in expansive datasets. This paper proposes a context-enriched contrastive loss function that concurrently improves learning effectiveness and addresses the information distortion by encompassing two convergence targets. The first component, which is notably sensitive to label contrast, differentiates between features of identical and distinct classes which boosts the contrastive training efficiency. Meanwhile, the second component draws closer the augmented samples from the same source image and distances all other samples. We evaluate the proposed approach on image classification tasks, which are among the most widely accepted 8 recognition large-scale benchmark datasets: CIFAR10, CIFAR100, Caltech-101, Caltech-256, ImageNet, BiasedMNIST, UTKFace, and CelebA datasets. The experimental results demonstrate that the proposed method achieves improvements over 16 state-of-the-art contrastive learning methods in terms of both generalization performance and learning convergence speed. Interestingly, our technique stands out in addressing systematic distortion tasks. It demonstrates a 22.9% improvement compared to original contrastive loss functions in the downstream BiasedMNIST dataset, highlighting its promise for more efficient and equitable downstream training.
- Abstract（参考訳）: コントラスト学習は人気を博し、数多くの大規模ベンチマークで最先端のパフォーマンスが向上している。
対照的な学習において、対照的な損失関数は、回転や収穫といった技術を通してサンプル間の類似性を識別する上で重要な役割を担っている。
しかし、この学習機構は、追加サンプルからの情報歪みも引き起こすことができる。
これは、トレーニングされたモデルが、特に拡張データセットにおいて、同じラベルを持つサンプルからの情報に対して、同じ初期画像に由来する正のペアを同時に無視しながら、重要な過度を発生させる可能性があるためである。
本稿では,2つの収束目標を包含することで,学習効率を同時に向上し,情報歪みに対処するコンテキスト強化コントラスト損失関数を提案する。
ラベルのコントラストに特に敏感な第1のコンポーネントは、対照的なトレーニング効率を高める同一クラスと別クラスの特徴を区別する。
一方、第2のコンポーネントは、同じソースイメージから強化されたサンプルを引き付け、他のすべてのサンプルを遠ざける。
CIFAR10, CIFAR100, Caltech-101, Caltech-256, ImageNet, BiasedMNIST, UTKFace, CelebAの8つの大規模ベンチマークデータセットの中で最も広く受け入れられている画像分類タスクの評価を行った。
実験により,提案手法は,一般化性能と学習収束速度の両面から,最先端のコントラスト学習法16以上の改善を達成できることが実証された。
興味深いことに,本手法は系統的な歪み問題に対処する上で重要である。
これは、下流のBiasedMNISTデータセットにおけるオリジナルのコントラスト損失関数と比較して22.9%の改善を示し、より効率的で公平な下流トレーニングの約束を強調している。
関連論文リスト
- Dissecting Representation Misalignment in Contrastive Learning via Influence Function [15.28417468377201]
コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。
ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。
我々はECIFに基づいて,データ評価,誤修正検出,誤予測トレースバックタスクのための一連のアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-18T15:45:41Z) - CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
セマンティックな一貫性を維持しつつ,サンプル単位のロジットアライメントを実現するコントラッシブな知識蒸留フレームワークを提案する。
提案手法は,教師と教師の対照的アライメントを通じて「暗黒知識」をサンプルレベルで伝達する。
CIFAR-100、ImageNet-1K、MS COCOデータセットを含む3つのベンチマークデータセットの総合的な実験を行う。
論文 参考訳（メタデータ） (2024-04-22T11:52:40Z) - LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
画像分類やオブジェクト検出などの下流タスクにおける教師あり学習よりも優れている。
対照的な学習における一般的な強化手法は、ランダムな収穫とそれに続くリサイズである。
本稿では,新しいインスタンス識別手法と適応型損失関数を用いたフレームワークであるLeOCLRを紹介する。
論文 参考訳（メタデータ） (2024-03-11T15:33:32Z) - Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳（メタデータ） (2024-03-10T09:46:28Z) - Symmetrical Bidirectional Knowledge Alignment for Zero-Shot Sketch-Based
Image Retrieval [69.46139774646308]
本稿ではゼロショットスケッチベース画像検索(ZS-SBIR)の問題点について検討する。
目に見えないカテゴリのスケッチをクエリとして使用して、同じカテゴリのイメージにマッチさせることが目的だ。
ゼロショットスケッチに基づく画像検索(SBKA)のための新しい対称双方向知識アライメントを提案する。
論文 参考訳（メタデータ） (2023-12-16T04:50:34Z) - GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。
我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。
学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
論文 参考訳（メタデータ） (2022-12-07T10:19:39Z) - Mix-up Self-Supervised Learning for Contrast-agnostic Applications [33.807005669824136]
コントラストに依存しないアプリケーションのための,最初の混合型自己教師型学習フレームワークを提案する。
クロスドメイン・ミックスアップに基づく画像間の低分散に対処し、画像再構成と透明性予測に基づくプレテキストタスクを構築する。
論文 参考訳（メタデータ） (2022-04-02T16:58:36Z) - Contrastive Learning of Visual-Semantic Embeddings [4.7464518249313805]
本稿では,正規化されたクロスエントロピーに基づく2つの損失関数を提案する。
本研究は,画像・テキスト・テキスト・画像検索タスクにおける既存のビジュアル・セマンティックな埋め込み手法と比較する。
論文 参考訳（メタデータ） (2021-10-17T17:28:04Z) - Object-aware Contrastive Learning for Debiased Scene Representation [74.30741492814327]
オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。
また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
論文 参考訳（メタデータ） (2021-07-30T19:24:07Z) - With a Little Help from My Friends: Nearest-Neighbor Contrastive
Learning of Visual Representations [87.72779294717267]
対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。
提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
論文 参考訳（メタデータ） (2021-04-29T17:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。