論文の概要: A Gradient Accumulation Method for Dense Retriever under Memory Constraint

• arxiv url: http://arxiv.org/abs/2406.12356v2
• Date: Wed, 19 Jun 2024 01:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 21:41:11.355308
• Title: A Gradient Accumulation Method for Dense Retriever under Memory Constraint
• Title（参考訳）: メモリ制約下での高密度レトリバーのグラディエント累積法
• Authors: Jaehee Kim, Yukyung Lee, Pilsung Kang,
• Abstract要約: Contrastive Accumulation (ContAccum) は高密度レトリバーの安定かつ効率的なメモリ削減手法である。 広く使われている5つの情報検索データセットの実験は、ContAccumが既存のメモリ削減手法だけでなく、高リソースシナリオを克服できることを示している。
• 参考スコア（独自算出の注目度）: 7.314901185604559
• License:
• Abstract: InfoNCE loss is commonly used to train dense retriever in information retrieval tasks. It is well known that a large batch is essential to stable and effective training with InfoNCE loss, which requires significant hardware resources. Due to the dependency of large batch, dense retriever has bottleneck of application and research. Recently, memory reduction methods have been broadly adopted to resolve the hardware bottleneck by decomposing forward and backward or using a memory bank. However, current methods still suffer from slow and unstable training. To address these issues, we propose Contrastive Accumulation (ContAccum), a stable and efficient memory reduction method for dense retriever trains that uses a dual memory bank structure to leverage previously generated query and passage representations. Experiments on widely used five information retrieval datasets indicate that ContAccum can surpass not only existing memory reduction methods but also high-resource scenario. Moreover, theoretical analysis and experimental results confirm that ContAccum provides more stable dual-encoder training than current memory bank utilization methods.
• Abstract（参考訳）: InfoNCE損失は、情報検索タスクにおいて、密集した検索者を訓練するために一般的に使用される。 大規模なバッチがInfoNCE損失による安定的で効果的なトレーニングに不可欠であることはよく知られている。 大規模なバッチの依存関係のため、高密度検索には応用と研究のボトルネックがある。 近年,メモリバンクを前後に分解するか,あるいはメモリバンクを用いてハードウェアボトルネックを解決するために,メモリ削減手法が広く採用されている。 しかし、現在の方法は依然として遅く不安定な訓練に悩まされている。 このような問題に対処するために,2つのメモリバンク構造を用いて以前に生成されたクエリおよびパス表現を利用する高密度検索列車の安定かつ効率的なメモリ削減手法であるContrastive Accumulation (ContAccum)を提案する。 広く使われている5つの情報検索データセットの実験は、ContAccumが既存のメモリ削減手法だけでなく、高リソースシナリオを克服できることを示している。 さらに、理論解析と実験結果から、ContAccumは現在のメモリバンク利用法よりも安定したデュアルエンコーダトレーニングを提供していることが確認された。

関連論文リスト

• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Bridging the Training-Inference Gap for Dense Phrase Retrieval [104.4836127502683]
  密度の高いレトリバーを構築するには、トレーニングやニューラルネットワークの検証など、一連の標準手順が必要である。 本稿では,高密度検索におけるトレーニングと推論のギャップを減らせる方法について検討する。 コーパス全体の小さな部分集合を用いて高密度レトリバーを効率よく検証する方法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T00:53:06Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Improving Task-free Continual Learning by Distributionally Robust Memory Evolution [9.345559196495746]
  タスクフリー連続学習は、明示的なタスク定義なしで非定常データストリームを学習し、以前の知識を忘れないことを目的としている。 既存の手法は、メモリデータ分布における高い不確実性を見落としている。 本稿では,メモリデータ分散を動的に進化させるためのメモリ進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-15T02:16:09Z)
• Memory-efficient Reinforcement Learning with Value-based Knowledge Consolidation [14.36005088171571]
  本稿では,深部Q-networkアルゴリズムに基づくメモリ効率向上学習アルゴリズムを提案する。 提案アルゴリズムは,対象のQネットワークから現在のQネットワークへの知識の統合により,高いサンプル効率を低下させる。
  論文  参考訳（メタデータ） (2022-05-22T17:02:51Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Carousel Memory: Rethinking the Design of Episodic Memory for Continual Learning [19.260402028696916]
  継続的な学習(CL)は、以前のタスクから学んだ知識を忘れずに、連続したタスクストリームから学習することを目的としている。 以前の研究では、新しい非i.d.データから学習しながら、過去の観測されたサンプルのサブセットを格納するエピソードメモリ(EM)を利用している。 メモリとストレージ間のサンプルを効率よく移行させることにより,過去の経験を保存し,忘れを軽減すべく,豊富なストレージを活用することを提案する。
  論文  参考訳（メタデータ） (2021-10-14T11:27:45Z)
• Recall@k Surrogate Loss with Large Batches and Similarity Mixup [62.67458021725227]
  微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。 本研究は,リコールにおける相異なるサロゲート損失を提案する。 提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-08-25T11:09:11Z)
• Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval [15.238322226336232]
  我々は高密度レトリバーの2つの根本問題を特定し,対処する。 我々は最近提案されたCondenser事前学習アーキテクチャを使用し、LM事前学習を通して密接なベクトルに情報を凝縮することを学ぶ。 本稿では,パス埋め込み空間を暖めるために,教師なしコーパスレベルのコントラスト損失を加えたcoCondenserを提案する。
  論文  参考訳（メタデータ） (2021-08-12T05:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。