論文の概要: Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining

• arxiv url: http://arxiv.org/abs/2303.15311v1
• Date: Mon, 27 Mar 2023 15:18:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 14:35:59.058683
• Title: Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining
• Title（参考訳）: 負のマイニングのための動的指標によるデュアルエンコーダ訓練の改善
• Authors: Nicholas Monath, Manzil Zaheer, Kelsey Allen, Andrew McCallum
• Abstract要約: 本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
• 参考スコア（独自算出の注目度）: 61.09807522366773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dual encoder models are ubiquitous in modern classification and retrieval. Crucial for training such dual encoders is an accurate estimation of gradients from the partition function of the softmax over the large output space; this requires finding negative targets that contribute most significantly ("hard negatives"). Since dual encoder model parameters change during training, the use of traditional static nearest neighbor indexes can be sub-optimal. These static indexes (1) periodically require expensive re-building of the index, which in turn requires (2) expensive re-encoding of all targets using updated model parameters. This paper addresses both of these challenges. First, we introduce an algorithm that uses a tree structure to approximate the softmax with provable bounds and that dynamically maintains the tree. Second, we approximate the effect of a gradient update on target encodings with an efficient Nystrom low-rank approximation. In our empirical study on datasets with over twenty million targets, our approach cuts error by half in relation to oracle brute-force negative mining. Furthermore, our method surpasses prior state-of-the-art while using 150x less accelerator memory.
• Abstract（参考訳）: デュアルエンコーダモデルは、現代の分類と検索においてユビキタスである。 このようなデュアルエンコーダのトレーニングには、大きな出力空間上のソフトマックスの分割関数からの勾配の正確な推定が不可欠である。 トレーニング中にデュアルエンコーダモデルパラメータが変化するため、従来の静的近接インデックスの使用は準最適である。 これらの静的インデックス(1)は定期的に高価なインデックスの再構築を必要とし、(2)更新されたモデルパラメータを使用してすべてのターゲットを再エンコードする必要がある。 本稿ではこれらの課題に対処する。 まず,木構造を用いて証明可能な境界でソフトマックスを近似し,木を動的に維持するアルゴリズムを提案する。 第二に、効率の良いNystrom低ランク近似を用いた目標符号化に対する勾配更新の効果を近似する。 2,000万以上のターゲットを持つデータセットに関する実証研究において、我々のアプローチは、オラクル・ブルート力負の採掘に関してエラーを半分に削減する。 さらに,150 倍のアクセラレーションメモリを用いながら,先行技術を超えている。

関連論文リスト

• SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [15.872209884833977]
  本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。 SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-28T07:13:25Z)
• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• Sparse-Inductive Generative Adversarial Hashing for Nearest Neighbor Search [8.020530603813416]
  本稿では,Sparsity-induced Generative Adversarial Hashing (SiGAH)と呼ばれる新しい教師なしハッシュ法を提案する。 SiGAHは、大規模な高次元特徴をバイナリコードにエンコードする。 Tiny100K、GIST1M、Deep1M、MNISTの4つのベンチマーク実験の結果、提案されたSiGAHは最先端のアプローチよりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-06-12T08:07:23Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Scalable Optimal Transport in High Dimensions for Graph Distances, Embedding Alignment, and More [7.484063729015126]
  最適輸送のためのコスト行列の2つの効率的な対数線形時間近似を提案する。 これらの近似は、複雑な高次元空間に対してもよく機能するエントロピー規則化OTに対する一般的な対数線形時間アルゴリズムを可能にする。 グラフ距離回帰のために,グラフニューラルネットワーク(GNN)と拡張シンクホーンを組み合わせたグラフトランスポートネットワーク(GTN)を提案する。
  論文  参考訳（メタデータ） (2021-07-14T17:40:08Z)
• A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks [0.0]
  Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。 本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。 提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
  論文  参考訳（メタデータ） (2021-04-11T22:20:09Z)
• FastLR: Non-Autoregressive Lipreading Model with Integrate-and-Fire [74.04394069262108]
  我々は,全てのターゲットトークンを同時に生成する非自己回帰(NAR)リップリーダーモデルであるFastLRを提案する。 FastLRは最先端のリップリーダーモデルと比較して10.97$times$のスピードアップを実現している。
  論文  参考訳（メタデータ） (2020-08-06T08:28:56Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。