論文の概要: Variance & Greediness: A comparative study of metric-learning losses

• arxiv url: http://arxiv.org/abs/2601.21450v1
• Date: Thu, 29 Jan 2026 09:28:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.697382
• Title: Variance & Greediness: A comparative study of metric-learning losses
• Title（参考訳）: バリアンスとグレディネス:メトリクス学習損失の比較研究
• Authors: Donghuo Zeng, Hao Niu, Zhi Li, Masato Taya,
• Abstract要約: メトリクス学習は検索の中心であるが、埋め込み幾何学や最適化力学への影響はよく理解されていない。 代表的な7つの損失を比較するために,診断フレームワークであるVARIANCE(intra-/inter-class variance)とGREEDINESS(active ratio and gradient norms)を導入する。 分析の結果,TripletとSCLはクラス内ばらつきを高く保ち,クラス間マージンがより鮮明に保たれることが明らかとなった。
• 参考スコア（独自算出の注目度）: 5.102429604787588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Metric learning is central to retrieval, yet its effects on embedding geometry and optimization dynamics are not well understood. We introduce a diagnostic framework, VARIANCE (intra-/inter-class variance) and GREEDINESS (active ratio and gradient norms), to compare seven representative losses, i.e., Contrastive, Triplet, N-pair, InfoNCE, ArcFace, SCL, and CCL, across five image-retrieval datasets. Our analysis reveals that Triplet and SCL preserve higher within-class variance and clearer inter-class margins, leading to stronger top-1 retrieval in fine-grained settings. In contrast, Contrastive and InfoNCE compact embeddings are achieved quickly through many small updates, accelerating convergence but potentially oversimplifying class structures. N-pair achieves a large mean separation but with uneven spacing. These insights reveal a form of efficiency-granularity trade-off and provide practical guidance: prefer Triplet/SCL when diversity preservation and hard-sample discrimination are critical, and Contrastive/InfoNCE when faster embedding compaction is desired.
• Abstract（参考訳）: メトリクス学習は検索の中心であるが、埋め込み幾何学や最適化力学への影響はよく理解されていない。 Intra-/inter-class variance) と GREEDINESS (active ratio and gradient norms) という診断フレームワークを導入し,5つの画像検索データセットに対して,Contrastive, Triplet, N-pair, InfoNCE, ArcFace, SCL, CCLの7つの代表的な損失を比較した。 分析の結果,TripletとSCLはクラス内ばらつきを高く保ち,クラス間マージンがより鮮明に保たれることが明らかとなった。 対照的に、Contrastive と InfoNCE のコンパクトな埋め込みは多くの小さな更新を通じて迅速に達成され、収束を加速するが、クラス構造を単純化する可能性がある。 Nペアは大きな平均分離を実現するが、間隔は均一である。 これらの知見は効率-粒度のトレードオフの形式を明らかにし、多様性の保存とハードサンプルの識別が重要である場合のトリプルト/SCL、より高速な埋め込み圧縮が望まれる場合のコントラスト/インフォネッシブ/インフォネッシックなど、実践的なガイダンスを提供する。

関連論文リスト

• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• Comparing Contrastive and Triplet Loss: Variance Analysis and Optimization Behavior [2.608092703580602]
  3重項の損失はクラス内およびクラス間の大きな分散を保ち、学習された表現においてよりきめ細かい区別をサポートすることを示す。 対照的に、対照的な損失はクラス内埋め込みをコンパクトにする傾向があり、微妙な意味的差異が曖昧になる。 対照的な損失が多くの小さな更新を早期に引き起こすのに対して、トリプルト損失はより少ないがより強力な更新を発生させ、ハードな例での学習を持続させる。
  論文  参考訳（メタデータ） (2025-10-02T16:11:46Z)
• Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning [48.11265601808718]
  標準的な自己指導型コントラスト学習目標が暗黙的に教師付き変種を近似することを示し,我々は負のみ教師付きコントラスト学習損失(NSCL)と呼ぶ。 ラベルに依存しない,アーキテクチャに依存しない境界の下で,意味クラスの数が増えるにつれて,CLとNSCLの損失のギャップが消滅することを証明する。
  論文  参考訳（メタデータ） (2025-06-04T19:43:36Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Center Contrastive Loss for Metric Learning [8.433000039153407]
  本稿では,Central Contrastive Lossと呼ばれる新しいメトリック学習機能を提案する。 クラスワイド・センタ・バンクを維持し、コントラッシブ・ロスを用いてカテゴリセンターとクエリデータポイントを比較している。 提案した損失は、対比法と分類法の両方の利点を組み合わせたものである。
  論文  参考訳（メタデータ） (2023-08-01T11:22:51Z)
• Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective [51.70661197256033]
  医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。 まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。 5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
  論文  参考訳（メタデータ） (2023-02-03T13:50:25Z)
• Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive Learners With FlatNCE [104.37515476361405]
  比較学習者が小さいバッチサイズで失敗する理由を数学的に明らかにする。 この問題を解決するために,FlatNCEという新たな非ネイティブコントラスト目標を提案する。
  論文  参考訳（メタデータ） (2021-07-02T15:50:43Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)
• Supporting Clustering with Contrastive Learning [19.71262627336737]
  Unsupervised Clusteringは、表現空間で測定された距離に応じて、データのセマンティックなカテゴリを発見することを目的とする。 異なるカテゴリは、学習プロセスの開始時に表現空間で互いに重なることが多い。 コントラスト学習によるクラスタリングのサポート - コントラスト学習を活用してより良い分離を促進する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-24T03:05:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。