論文の概要: Self-supervised Training Sample Difficulty Balancing for Local
Descriptor Learning
- arxiv url: http://arxiv.org/abs/2303.06124v1
- Date: Fri, 10 Mar 2023 18:37:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-13 13:56:49.917202
- Title: Self-supervised Training Sample Difficulty Balancing for Local
Descriptor Learning
- Title（参考訳）: ローカルディスクリプタ学習のための自己指導型サンプルバランス
- Authors: Jiahan Zhang and Dayong Tian
- Abstract要約: 正と負のサンプルの不均衡の場合、モデルがより微妙な違いを学習するのに役立つ強い負のマイニング戦略が示されている。
しかし、データセット内で厳密なマイニング戦略が推進されている場合、偽陰性サンプルを導入するリスクがある可能性がある。
本稿では,高品質な負の試料を採取し,利用するために,採掘試料の難易度をトレードオフする方法を検討する。
- 参考スコア（独自算出の注目度）: 1.309716118537215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the case of an imbalance between positive and negative samples, hard
negative mining strategies have been shown to help models learn more subtle
differences between positive and negative samples, thus improving recognition
performance. However, if too strict mining strategies are promoted in the
dataset, there may be a risk of introducing false negative samples. Meanwhile,
the implementation of the mining strategy disrupts the difficulty distribution
of samples in the real dataset, which may cause the model to over-fit these
difficult samples. Therefore, in this paper, we investigate how to trade off
the difficulty of the mined samples in order to obtain and exploit high-quality
negative samples, and try to solve the problem in terms of both the loss
function and the training strategy. The proposed balance loss provides an
effective discriminant for the quality of negative samples by combining a
self-supervised approach to the loss function, and uses a dynamic gradient
modulation strategy to achieve finer gradient adjustment for samples of
different difficulties. The proposed annealing training strategy then
constrains the difficulty of the samples drawn from negative sample mining to
provide data sources with different difficulty distributions for the loss
function, and uses samples of decreasing difficulty to train the model.
Extensive experiments show that our new descriptors outperform previous
state-of-the-art descriptors for patch validation, matching, and retrieval
tasks.
- Abstract（参考訳）: 正と負のサンプルの不均衡の場合、ハード負のマイニング戦略は、モデルが正と負のサンプルの微妙な違いを学習し、認識性能を向上させるのに役立つことが示されている。
しかし、データセット内で厳密なマイニング戦略が推進されると、偽陰性サンプルを導入するリスクがある可能性がある。
一方、マイニング戦略の実装は、実際のデータセットにおけるサンプルの分散の困難さを損なうため、モデルがこれらの難しいサンプルを過剰に適合させる可能性がある。
そこで本研究では,高品質な負のサンプルを入手し,活用するために,採掘したサンプルの難易度をトレードオフする方法について検討し,損失関数とトレーニング戦略の両方の観点から問題を解こうと試みる。
提案手法は, 損失関数に対する自己監督的アプローチを組み合わせることで, 負のサンプルの品質を効果的に判別し, 動的勾配変調戦略を用いて, 異なる困難なサンプルに対してより微細な勾配調整を行う。
提案したアニーリングトレーニング戦略は, 負のサンプルマイニングから抽出したサンプルの難易度を制約し, 損失関数の難易度分布が異なるデータソースを提供し, モデルの訓練に難易度を低下させるサンプルを用いる。
広範な実験により、新しいディスクリプタは、パッチ検証、マッチング、検索タスクにおいて、以前の最先端ディスクリプタよりも優れています。
関連論文リスト
- Learning with Imbalanced Noisy Data by Preventing Bias in Sample
Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。
不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-02-17T10:34:53Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳（メタデータ） (2023-08-28T18:48:34Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-20T19:29:37Z) - Hard Sample Aware Network for Contrastive Deep Graph Clustering [38.44763843990694]
我々は,Hard Sample Aware Network (HSAN) と呼ばれる,新しい対照的な深層グラフクラスタリング手法を提案する。
本アルゴリズムでは, 属性埋め込みと構造埋め込みの両方を考慮し, サンプル間の類似性を計算した。
得られた高信頼度クラスタリング情報のガイダンスに基づき,提案した重み調整関数は,まず正および負のサンプルを認識する。
論文 参考訳（メタデータ） (2022-12-16T16:57:37Z) - DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples
Discrimination [28.599571524763785]
ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。
この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
論文 参考訳（メタデータ） (2022-08-21T13:38:55Z) - Generating Counterfactual Hard Negative Samples for Graph Contrastive
Learning [22.200011046576716]
グラフコントラスト学習は教師なしグラフ表現学習の強力なツールである。
最近の研究は、通常、正のサンプルと同一のトレーニングバッチから、または外部の無関係なグラフから、負のサンプルをサンプリングする。
我々は、textbfCounterfactual Mechanism を利用して、TextbfContrastive Learning のための人工的硬質負のサンプルを生成する方法を提案する。
論文 参考訳（メタデータ） (2022-07-01T02:19:59Z) - Hard Negative Sampling Strategies for Contrastive Representation
Learning [4.1531215150301035]
UnReMixは、アンカーの類似性、モデルの不確実性、代表性を考慮に入れた、ハードネガティブなサンプリング戦略である。
いくつかのベンチマークによる実験結果から,UnReMixは正のサンプル選択を改良し,その後,最先端のコントラスト学習法と比較した場合の下流性能が向上することが示された。
論文 参考訳（メタデータ） (2022-06-02T17:55:15Z) - Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。
トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
論文 参考訳（メタデータ） (2021-05-27T08:38:29Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳（メタデータ） (2021-03-24T07:26:07Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳（メタデータ） (2021-03-09T15:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。