論文の概要: Comparing Contrastive and Triplet Loss in Audio-Visual Embedding: Intra-Class Variance and Greediness Analysis

• arxiv url: http://arxiv.org/abs/2510.02161v1
• Date: Thu, 02 Oct 2025 16:11:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.201577
• Title: Comparing Contrastive and Triplet Loss in Audio-Visual Embedding: Intra-Class Variance and Greediness Analysis
• Title（参考訳）: オーディオ・ビジュアル・埋め込みにおけるコントラストとトリプルト・ロスの比較:クラス内変動とグレディネス分析
• Authors: Donghuo Zeng,
• Abstract要約: 3重項の損失はクラス内およびクラス間の大きな分散を保ち、学習された表現においてよりきめ細かい区別をサポートすることを示す。 対照的に、対照的な損失はクラス内埋め込みをコンパクトにする傾向があり、微妙な意味的差異が曖昧になる。 対照的な損失が多くの小さな更新を早期に引き起こすのに対して、トリプルト損失はより少ないがより強力な更新を発生させ、ハードな例での学習を持続させる。
• 参考スコア（独自算出の注目度）: 2.608092703580602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive loss and triplet loss are widely used objectives in deep metric learning, yet their effects on representation quality remain insufficiently understood. We present a theoretical and empirical comparison of these losses, focusing on intra- and inter-class variance and optimization behavior (e.g., greedy updates). Through task-specific experiments with consistent settings on synthetic data and real datasets-MNIST, CIFAR-10-it is shown that triplet loss preserves greater variance within and across classes, supporting finer-grained distinctions in the learned representations. In contrast, contrastive loss tends to compact intra-class embeddings, which may obscure subtle semantic differences. To better understand their optimization dynamics, By examining loss-decay rate, active ratio, and gradient norm, we find that contrastive loss drives many small updates early on, while triplet loss produces fewer but stronger updates that sustain learning on hard examples. Finally, across both classification and retrieval tasks on MNIST, CIFAR-10, CUB-200, and CARS196 datasets, our results consistently show that triplet loss yields superior performance, which suggests using triplet loss for detail retention and hard-sample focus, and contrastive loss for smoother, broad-based embedding refinement.
• Abstract（参考訳）: コントラストの損失と三重項の損失は、深層学習において広く用いられているが、その表現品質への影響は十分に理解されていない。 本稿では,これらの損失を理論的,実証的に比較し,クラス内およびクラス間分散と最適化挙動(greedy update)に着目した。 合成データと実データセットを一貫した設定で一貫したタスク固有の実験により、CIFAR-10-itは、三重項損失がクラス内およびクラス間の大きな分散を保ち、学習された表現におけるよりきめ細かい区別をサポートすることを示した。 対照的に、対照的な損失はクラス内埋め込みをコンパクトにする傾向があり、微妙な意味的差異が曖昧になる。 これらの最適化のダイナミクスをよりよく理解するために、損失-遅延率、アクティブ比、勾配ノルムを調べることで、対照的な損失は多くの小さな更新を早期に駆動するのに対し、トリプルト損失はより少ないがより強い更新を生成し、ハードな例での学習を継続する。 最後に, MNIST, CIFAR-10, CUB-200, CARS196データセットの分類と検索の両タスクにおいて, 3重項損失が優れた性能を示すことを示す。

関連論文リスト

• Tuned Contrastive Learning [77.67209954169593]
  そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。 TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。 我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
  論文  参考訳（メタデータ） (2023-05-18T03:26:37Z)
• Unified Loss of Pair Similarity Optimization for Vision-Language Retrieval [35.141916376979836]
  視覚言語検索には2つの一般的な損失関数、すなわち三重項損失と対照的な学習損失がある。 本稿では,視覚言語検索のためのペア類似度最適化の統一的損失を提案する。
  論文  参考訳（メタデータ） (2022-09-28T07:01:22Z)
• Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices [37.559461866831754]
  我々は、深いAUROC最適化問題に対するアルゴリズム選択の異なる様々な損失関数をベンチマークする。 正のサンプリング率、正規化、正規化/アクティベーション、重みなどの重要な選択を強調した。 以上の結果から,Adam-type法はトレーニングの面では競争力が高いが,テストの面では他よりも優れていないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-27T00:47:00Z)
• Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
  半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。 近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。 これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
  論文  参考訳（メタデータ） (2022-02-14T15:18:00Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• A Decidability-Based Loss Function [2.5919311269669003]
  生体認証問題は、ディープラーニングモデルを使用して画像から特徴を抽出する。 本研究では,検証ルーチンの埋め込み品質を向上させるために,決定可能性指数に基づく損失関数を提案する。 提案手法は,4つのベンチマークにおいて,ソフトマックス(クロスエントロピー),トリプレットソフトハード,マルチ類似性損失に対して比較される。
  論文  参考訳（メタデータ） (2021-09-12T14:26:27Z)
• Class Interference Regularization [7.248447600071719]
  対照的な損失は、人物の再識別、顔認証、少人数のショットラーニングのための最先端のパフォーマンスをもたらす。 我々は,新しい,シンプルで効果的な正規化手法であるクラス干渉正規化(CIR)を提案する。 CIRは、負のクラスの平均埋め込みに向かってランダムに移動することで出力特徴を摂動する。
  論文  参考訳（メタデータ） (2020-09-04T21:03:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。