論文の概要: Understanding Hard Negatives in Noise Contrastive Estimation
- arxiv url: http://arxiv.org/abs/2104.06245v1
- Date: Tue, 13 Apr 2021 14:42:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:43:22.297042
- Title: Understanding Hard Negatives in Noise Contrastive Estimation
- Title（参考訳）: 騒音コントラスト推定におけるハード負の理解
- Authors: Wenzheng Zhang and Karl Stratos
- Abstract要約: ハードマイナスの役割を理解するための分析ツールを開発した。
テキスト検索に用いられる様々なアーキテクチャを統一するスコア関数の一般的な形式を導出する。
- 参考スコア（独自算出の注目度）: 21.602701327267905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The choice of negative examples is important in noise contrastive estimation.
Recent works find that hard negatives -- highest-scoring incorrect examples
under the model -- are effective in practice, but they are used without a
formal justification. We develop analytical tools to understand the role of
hard negatives. Specifically, we view the contrastive loss as a biased
estimator of the gradient of the cross-entropy loss, and show both
theoretically and empirically that setting the negative distribution to be the
model distribution results in bias reduction. We also derive a general form of
the score function that unifies various architectures used in text retrieval.
By combining hard negatives with appropriate score functions, we obtain strong
results on the challenging task of zero-shot entity linking.
- Abstract（参考訳）: ノイズコントラスト推定では負例の選択が重要である。
最近の研究では、ハードネガティブ(モデルの下では最も不正確な例)は実際に効果的であるが、形式的な正当化なしに使用される。
ハードマイナスの役割を理解するための分析ツールを開発した。
具体的には, 相対損失をクロスエントロピー損失の勾配のバイアス推定器とみなし, 負の分布をモデル分布に設定すると, バイアス低減が生じることを理論的および実証的に示す。
また,テキスト検索における様々なアーキテクチャを統一するスコア関数の一般形式も導出する。
ハードネガと適切なスコア関数を組み合わせることで,ゼロショットエンティティリンクの課題に対して強い結果が得られる。
関連論文リスト
- Contrastive Learning with Negative Sampling Correction [52.990001829393506]
PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。
PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。
PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
論文 参考訳（メタデータ） (2024-01-13T11:18:18Z) - Your Negative May not Be True Negative: Boosting Image-Text Matching
with False Negative Elimination [62.18768931714238]
提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。
その結果,提案した偽陰性除去戦略の優位性が示された。
論文 参考訳（メタデータ） (2023-08-08T16:31:43Z) - GAPX: Generalized Autoregressive Paraphrase-Identification X [24.331570697458954]
このパフォーマンス低下の主な原因は、ネガティブな例によって導入されたバイアスである。
我々は、推論中にどれだけの重量を与えるべきかを効果的に、かつ自動的に決定できるパープレキシティーに基づくアウト・オブ・ディストリビューション・メトリックを導入する。
論文 参考訳（メタデータ） (2022-10-05T01:23:52Z) - Do More Negative Samples Necessarily Hurt in Contrastive Learning? [25.234544066205547]
提案手法は,下層の潜在クラスから正のペアをサンプリングすることによって生成する単純な理論的条件下で,表現の下流性能が負のサンプル数で低下しないことを示す。
また、フレームワークにおける最適な表現の構造的特徴も与える。
論文 参考訳（メタデータ） (2022-05-03T21:29:59Z) - Hard Negative Sampling via Regularized Optimal Transport for Contrastive
Representation Learning [13.474603286270836]
本研究では、教師なしコントラスト表現学習のためのハードネガティブサンプリング分布の設計問題について検討する。
本稿では,最大(Worst-case)一般化されたコントラスト学習損失を最小限に抑える表現を求める新しいmin-maxフレームワークの提案と解析を行う。
論文 参考訳（メタデータ） (2021-11-04T21:25:24Z) - Investigating the Role of Negatives in Contrastive Representation
Learning [59.30700308648194]
ノイズコントラスト学習は教師なし表現学習の一般的な手法である。
我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。
結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
論文 参考訳（メタデータ） (2021-06-18T06:44:16Z) - Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。
トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
論文 参考訳（メタデータ） (2021-05-27T08:38:29Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。
我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。
提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
論文 参考訳（メタデータ） (2020-05-20T06:25:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。