論文の概要: Rethinking Deep Contrastive Learning with Embedding Memory

• arxiv url: http://arxiv.org/abs/2103.14003v1
• Date: Thu, 25 Mar 2021 17:39:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:25:40.907840
• Title: Rethinking Deep Contrastive Learning with Embedding Memory
• Title（参考訳）: メモリ埋め込みによる深層コントラスト学習の再考
• Authors: Haozhi Zhang, Xun Wang, Weilin Huang, Matthew R. Scott
• Abstract要約: ペアワイズ損失関数は広く研究され、dml(deep metric learning)のパフォーマンスを継続的に改善することが示されている。 本稿では,様々な対損失関数の重み付け戦略を体系的に研究する新しい手法を提案し,組重み付けを埋め込みメモリで再考する。
• 参考スコア（独自算出の注目度）: 58.66613563148031
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pair-wise loss functions have been extensively studied and shown to continuously improve the performance of deep metric learning (DML). However, they are primarily designed with intuition based on simple toy examples, and experimentally identifying the truly effective design is difficult in complicated, real-world cases. In this paper, we provide a new methodology for systematically studying weighting strategies of various pair-wise loss functions, and rethink pair weighting with an embedding memory. We delve into the weighting mechanisms by decomposing the pair-wise functions, and study positive and negative weights separately using direct weight assignment. This allows us to study various weighting functions deeply and systematically via weight curves, and identify a number of meaningful, comprehensive and insightful facts, which come up with our key observation on memory-based DML: it is critical to mine hard negatives and discard easy negatives which are less informative and redundant, but weighting on positive pairs is not helpful. This results in an efficient but surprisingly simple rule to design the weighting scheme, making it significantly different from existing mini-batch based methods which design various sophisticated loss functions to weight pairs carefully. Finally, we conduct extensive experiments on three large-scale visual retrieval benchmarks, and demonstrate the superiority of memory-based DML over recent mini-batch based approaches, by using a simple contrastive loss with momentum-updated memory.
• Abstract（参考訳）: ペアワイズ損失関数は広く研究され、dml(deep metric learning)のパフォーマンスを継続的に改善することが示されている。 しかし、それらは主に単純なおもちゃの例に基づく直感で設計されており、実世界の複雑なケースでは、真に効果的なデザインを実験的に識別することは困難である。 本稿では,様々な対方向損失関数の重み付け戦略を体系的に研究する新しい手法を提案し,埋め込みメモリを用いた重み付けを再考する。 重み付け機構をペアワイズ関数を分解して検討し,直接重み割り当てを用いて正負の重み付けを分離して検討する。 これにより、様々な重み付け関数を、重み曲線を通じて深く体系的に研究することができ、メモリベースのdmlにおける重要な観察結果となった、有意義で包括的で洞察に富んだ事実を多数特定できます。 これにより、重み付け方式を設計するための効率的だが驚くほど単純な規則となり、様々な高度な損失関数を設計して重み付けを慎重に設計する既存のミニバッチ方式とは大きく異なる。 最後に,3つの大規模ビジュアル検索ベンチマークについて広範な実験を行い,近年のミニバッチ方式よりもメモリベースDMLの方が優れていることを示す。

関連論文リスト

• Dissecting Misalignment of Multimodal Large Language Models via Influence Function [12.832792175138241]
  コントラスト損失に対する拡張影響関数 (ECIF) を導入し, コントラスト損失に対する影響関数について検討した。 ECIFは正と負の両方のサンプルを考慮し、対照的な学習モデルの閉形式近似を提供する。 ECIFを基盤として,MLLMにおけるデータ評価,誤アライメント検出,誤予測トレースバックタスクなどの一連のアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-18T15:45:41Z)
• Multi-Margin Cosine Loss: Proposal and Application in Recommender Systems [0.0]
  協調フィルタリングに基づくディープラーニング技術は、その素直な性質から人気を取り戻している。 これらのシステムは、相互作用モジュール、損失関数、ネガティブサンプリング戦略の3つの主要コンポーネントから構成される。 提案したMulti-Margin Cosine Loss (MMCL)は、負のサンプルに対して複数のマージンと様々な重みを導入することで、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-05-07T18:58:32Z)
• When Measures are Unreliable: Imperceptible Adversarial Perturbations toward Top-$k$ Multi-Label Learning [83.8758881342346]
  新しい損失関数は、視覚的および測定的不受容性を両立できる敵の摂動を生成するために考案された。 大規模ベンチマークデータセットを用いた実験により,提案手法が最上位の$kのマルチラベルシステムを攻撃する際の優位性を実証した。
  論文  参考訳（メタデータ） (2023-07-27T13:18:47Z)
• Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework [43.76337849044254]
  自己教師付き学習は、人間のアノテーションなしで強力な視覚表現を抽出する大きな可能性を示している。 様々な視点から自己指導型学習を扱うために,様々な研究が提案されている。 自己教師型学習のための単純だが効果的な勾配形式UniGradを提案する。
  論文  参考訳（メタデータ） (2021-12-09T18:59:57Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
  修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。 多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。 提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-02T00:07:53Z)
• Multi-Loss Weighting with Coefficient of Variations [19.37721431024278]
  本稿では,変動係数に基づく重み付け手法を提案し,モデルのトレーニング中に観測された特性に基づいて重みを設定する。 提案手法は損失のバランスをとるための不確実性の尺度を組み込んでおり、その結果、他の(学習ベース)最適化を必要とせずに、トレーニング中に損失重みが進化する。 提案手法の有効性は,複数のデータセット上での深度推定とセマンティックセグメンテーションに実証的に示される。
  論文  参考訳（メタデータ） (2020-09-03T14:51:19Z)
• Multi-step Estimation for Gradient-based Meta-learning [3.4376560669160385]
  内部ステップの窓において,同じ勾配を再利用してコストを削減できる簡易かつ簡単な手法を提案する。 本手法は,トレーニング時間やメモリ使用量を大幅に削減し,競争精度を維持したり,場合によっては性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-08T00:37:01Z)
• Learning and Memorizing Representative Prototypes for 3D Point Cloud Semantic and Instance Segmentation [117.29799759864127]
  3Dポイントクラウドセマンティクスとインスタンスセグメンテーションは、3Dシーン理解にとって不可欠で基本である。 深層ネットワークは、学習過程における非支配的なケースを忘れやすく、不満足なパフォーマンスをもたらす。 本稿では,多様なサンプルを普遍的にカバーする代表プロトタイプを学習し,記憶するメモリ拡張ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-06T01:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。