論文の概要: A Gradient Accumulation Method for Dense Retriever under Memory Constraint

• arxiv url: http://arxiv.org/abs/2406.12356v2
• Date: Wed, 19 Jun 2024 01:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 21:41:11.355308
• Title: A Gradient Accumulation Method for Dense Retriever under Memory Constraint
• Title（参考訳）: メモリ制約下での高密度レトリバーのグラディエント累積法
• Authors: Jaehee Kim, Yukyung Lee, Pilsung Kang,
• Abstract要約: Contrastive Accumulation (ContAccum) は高密度レトリバーの安定かつ効率的なメモリ削減手法である。 広く使われている5つの情報検索データセットの実験は、ContAccumが既存のメモリ削減手法だけでなく、高リソースシナリオを克服できることを示している。
• 参考スコア（独自算出の注目度）: 7.314901185604559
• License:
• Abstract: InfoNCE loss is commonly used to train dense retriever in information retrieval tasks. It is well known that a large batch is essential to stable and effective training with InfoNCE loss, which requires significant hardware resources. Due to the dependency of large batch, dense retriever has bottleneck of application and research. Recently, memory reduction methods have been broadly adopted to resolve the hardware bottleneck by decomposing forward and backward or using a memory bank. However, current methods still suffer from slow and unstable training. To address these issues, we propose Contrastive Accumulation (ContAccum), a stable and efficient memory reduction method for dense retriever trains that uses a dual memory bank structure to leverage previously generated query and passage representations. Experiments on widely used five information retrieval datasets indicate that ContAccum can surpass not only existing memory reduction methods but also high-resource scenario. Moreover, theoretical analysis and experimental results confirm that ContAccum provides more stable dual-encoder training than current memory bank utilization methods.
• Abstract（参考訳）: InfoNCE損失は、情報検索タスクにおいて、密集した検索者を訓練するために一般的に使用される。 大規模なバッチがInfoNCE損失による安定的で効果的なトレーニングに不可欠であることはよく知られている。 大規模なバッチの依存関係のため、高密度検索には応用と研究のボトルネックがある。 近年,メモリバンクを前後に分解するか,あるいはメモリバンクを用いてハードウェアボトルネックを解決するために,メモリ削減手法が広く採用されている。 しかし、現在の方法は依然として遅く不安定な訓練に悩まされている。 このような問題に対処するために,2つのメモリバンク構造を用いて以前に生成されたクエリおよびパス表現を利用する高密度検索列車の安定かつ効率的なメモリ削減手法であるContrastive Accumulation (ContAccum)を提案する。 広く使われている5つの情報検索データセットの実験は、ContAccumが既存のメモリ削減手法だけでなく、高リソースシナリオを克服できることを示している。 さらに、理論解析と実験結果から、ContAccumは現在のメモリバンク利用法よりも安定したデュアルエンコーダトレーニングを提供していることが確認された。

関連論文リスト

• Cost-Efficient Continual Learning with Sufficient Exemplar Memory [55.77835198580209]
  連続学習(CL)研究は通常、非常に制約のあるメモリ資源を前提としている。 本研究では,メモリが豊富である新しい環境におけるCLについて検討する。 提案手法は,計算コストを既存手法の4/3に削減しつつ,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Information-Theoretic Dual Memory System for Continual Learning [8.803516528821161]
  我々はITDMS(Information-Theoretic Dual Memory System)と呼ばれる革新的なデュアルメモリシステムを提案する。 このシステムは、一時的および新規なサンプルを保持するように設計された高速メモリバッファと、重要かつ情報的なサンプルを保存するための遅いメモリバッファから構成される。 提案手法は,一連の連続学習実験を通じて厳密に評価され,提案システムの有効性を実証した。
  論文  参考訳（メタデータ） (2025-01-13T15:01:12Z)
• Reservoir Computing for Fast, Simplified Reinforcement Learning on Memory Tasks [0.0]
  貯留層計算はメモリタスクの強化学習を大幅に単純化し、高速化する。 特に、これらの発見は、主に効率的で汎用的なメモリシステムに依存するメタラーニングに大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2024-12-17T17:02:06Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Bridging the Training-Inference Gap for Dense Phrase Retrieval [104.4836127502683]
  密度の高いレトリバーを構築するには、トレーニングやニューラルネットワークの検証など、一連の標準手順が必要である。 本稿では,高密度検索におけるトレーニングと推論のギャップを減らせる方法について検討する。 コーパス全体の小さな部分集合を用いて高密度レトリバーを効率よく検証する方法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T00:53:06Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Improving Task-free Continual Learning by Distributionally Robust Memory Evolution [9.345559196495746]
  タスクフリー連続学習は、明示的なタスク定義なしで非定常データストリームを学習し、以前の知識を忘れないことを目的としている。 既存の手法は、メモリデータ分布における高い不確実性を見落としている。 本稿では,メモリデータ分散を動的に進化させるためのメモリ進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-15T02:16:09Z)
• Memory-efficient Reinforcement Learning with Value-based Knowledge Consolidation [14.36005088171571]
  本稿では,深部Q-networkアルゴリズムに基づくメモリ効率向上学習アルゴリズムを提案する。 提案アルゴリズムは,対象のQネットワークから現在のQネットワークへの知識の統合により,高いサンプル効率を低下させる。
  論文  参考訳（メタデータ） (2022-05-22T17:02:51Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Recall@k Surrogate Loss with Large Batches and Similarity Mixup [62.67458021725227]
  微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。 本研究は,リコールにおける相異なるサロゲート損失を提案する。 提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-08-25T11:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。