論文の概要: Recall@k Surrogate Loss with Large Batches and Similarity Mixup
- arxiv url: http://arxiv.org/abs/2108.11179v1
- Date: Wed, 25 Aug 2021 11:09:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-26 12:58:26.445312
- Title: Recall@k Surrogate Loss with Large Batches and Similarity Mixup
- Title（参考訳）: recall@k total loss with large batches and similarity mixup
- Authors: Yash Patel, Giorgos Tolias, Jiri Matas
- Abstract要約: 微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。
本研究は,リコールにおける相異なるサロゲート損失を提案する。
提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
- 参考スコア（独自算出の注目度）: 62.67458021725227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Direct optimization, by gradient descent, of an evaluation metric, is not
possible when it is non-differentiable, which is the case for recall in
retrieval. In this work, a differentiable surrogate loss for the recall is
proposed. Using an implementation that sidesteps the hardware constraints of
the GPU memory, the method trains with a very large batch size, which is
essential for metrics computed on the entire retrieval database. It is assisted
by an efficient mixup approach that operates on pairwise scalar similarities
and virtually increases the batch size further. When used for deep metric
learning, the proposed method achieves state-of-the-art results in several
image retrieval benchmarks. For instance-level recognition, the method
outperforms similar approaches that train using an approximation of average
precision. The implementation will be made public.
- Abstract（参考訳）: 評価指標の勾配降下による直接最適化は、非微分可能であれば不可能であり、これは検索におけるリコールのケースである。
本研究は,リコールにおける相異なるサロゲート損失を提案する。
gpuメモリのハードウェア制約を回避する実装を使用して、このメソッドは、検索データベース全体で計算されるメトリクスに不可欠な非常に大きなバッチサイズでトレーニングされる。
これはペアワイズスカラーの類似性で動作し、バッチサイズを実質的に増加させる効率的なミックスアップアプローチによって支援される。
ディープメトリック学習に使用する場合,提案手法は,いくつかの画像検索ベンチマークにおいて最先端の結果を得る。
例えば、この手法は平均精度の近似を用いて訓練する類似の手法よりも優れている。
実装は公開されます。
関連論文リスト
- Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。
分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。
SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
論文 参考訳（メタデータ） (2024-10-22T17:59:30Z) - Retrieval with Learned Similarities [2.729516456192901]
最先端の検索アルゴリズムは、学習された類似点に移行した。
そこで本研究では,Mixture-of-Logits (MoL) を実証的に実現し,多様な検索シナリオにおいて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2024-07-22T08:19:34Z) - Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。
これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。
我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
論文 参考訳（メタデータ） (2022-07-26T04:38:47Z) - Improving Point Cloud Based Place Recognition with Ranking-based Loss
and Large Batch Training [1.116812194101501]
本稿では,識別可能な3Dポイントクラウド記述子を計算するための,シンプルで効果的な学習手法を提案する。
本稿では,画像検索における最近の進歩を取り入れ,異なる平均精度近似に基づく損失関数の修正版を提案する。
論文 参考訳（メタデータ） (2022-03-02T09:29:28Z) - Relational Surrogate Loss Learning [41.61184221367546]
本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。
本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。
私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
論文 参考訳（メタデータ） (2022-02-26T17:32:57Z) - Learning to Perform Downlink Channel Estimation in Massive MIMO Systems [72.76968022465469]
大規模マルチインプット・マルチアウトプット(MIMO)システムにおけるダウンリンク(DL)チャネル推定について検討する。
一般的なアプローチは、チャネル硬化によって動機付けられた推定値として平均値を使用することである。
本稿では2つの新しい推定法を提案する。
論文 参考訳（メタデータ） (2021-09-06T13:42:32Z) - A Unified Framework of Surrogate Loss by Refactoring and Interpolation [65.60014616444623]
勾配勾配を有する深層ネットワークのトレーニングにおいて,サロゲート損失を発生させる統一フレームワークUniLossを導入する。
3つのタスクと4つのデータセットに対するUniLossの有効性を検証する。
論文 参考訳（メタデータ） (2020-07-27T21:16:51Z) - Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and
Self-Control Gradient Estimator [62.26981903551382]
バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。
本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。
この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-05-21T06:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。