論文の概要: Asyncval: A Toolkit for Asynchronously Validating Dense Retriever Checkpoints during Training

• arxiv url: http://arxiv.org/abs/2202.12510v1
• Date: Fri, 25 Feb 2022 06:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-28 15:23:43.367578
• Title: Asyncval: A Toolkit for Asynchronously Validating Dense Retriever Checkpoints during Training
• Title（参考訳）: Asyncval: トレーニング中にDense Retrieverチェックポイントを同期検証するためのツールキット
• Authors: Shengyao Zhuang and Guido Zuccon
• Abstract要約: ディープラーニングチェックポイントを検証するための簡単な戦略は、トレーニング中に実行するバリデーションループの追加である。 密集型レトリバー(DR)チェックポイントの検証はさほど簡単ではなく、バリデーションループの追加は効率的ではない。 トレーニング中のDRチェックポイントを効率的に検証するPythonベースのツールキットであるAsyncvalを提案する。
• 参考スコア（独自算出の注目度）: 26.053028706793587
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The process of model checkpoint validation refers to the evaluation of the performance of a model checkpoint executed on a held-out portion of the training data while learning the hyperparameters of the model, and is used to avoid over-fitting and determine when the model has converged so as to stop training. A simple and efficient strategy to validate deep learning checkpoints is the addition of validation loops to execute during training. However, the validation of dense retrievers (DR) checkpoints is not as trivial -- and the addition of validation loops is not efficient. This is because, in order to accurately evaluate the performance of a DR checkpoint, the whole document corpus needs to be encoded into vectors using the current checkpoint before any actual retrieval operation for checkpoint validation can be performed. This corpus encoding process can be very time-consuming if the document corpus contains millions of documents (e.g., 8.8m for MS MARCO and 21m for Natural Questions). Thus, a naive use of validation loops during training will significantly increase training time. To address this issue, in this demo paper, we propose Asyncval: a Python-based toolkit for efficiently validating DR checkpoints during training. Instead of pausing the training loop for validating DR checkpoints, Asyncval decouples the validation loop from the training loop, uses another GPU to automatically validate new DR checkpoints and thus permits to perform validation asynchronously from training. Asyncval also implements a range of different corpus subset sampling strategies for validating DR checkpoints; these strategies allow to further speed up the validation process. We provide an investigation of these methods in terms of their impact on validation time and validation fidelity. Asyncval is made available as an open-source project at \url{https://github.com/ielab/asyncval}.
• Abstract（参考訳）: モデルチェックポイント検証のプロセスは、モデルのハイパーパラメータを学習しながらトレーニングデータの保持部に実行されたモデルチェックポイントのパフォーマンスを評価し、モデルの過度な適合を回避し、トレーニングを中止するためにモデルが収束した時期を決定するために使用される。 ディープラーニングチェックポイントを検証するためのシンプルで効率的な戦略は、トレーニング中に実行する検証ループの追加である。 しかし、高密度レトリバー(DR)チェックポイントの検証はそれほど簡単ではなく、バリデーションループの追加は効率的ではない。 これは、DRチェックポイントの性能を正確に評価するためには、チェックポイントの実際の検索操作を行う前に、現在のチェックポイントを使用してドキュメントコーパス全体をベクトルにエンコードする必要があるためである。 このコーパス符号化プロセスは、文書コーパスに数百万のドキュメント(MS MARCOは8.8m、自然質問は21m)が含まれている場合、非常に時間がかかる。 したがって、トレーニング中にバリデーションループを使用すると、トレーニング時間が大幅に増加する。 この問題に対処するため,本稿では,トレーニング中のDRチェックポイントを効率的に検証するPythonベースのツールキットであるAsyncvalを提案する。 drチェックポイントを検証するためのトレーニングループを一時停止する代わりに、asyncvalはトレーニングループからバリデーションループを分離し、別のgpuを使用して新しいdrチェックポイントを自動的に検証する。 Asyncvalはまた、DRチェックポイントを検証するためのさまざまなコーパスサブセットサンプリング戦略を実装している。 我々は,これらの手法が検証時間および検証忠実性に与える影響について検討する。 asyncvalは、オープンソースプロジェクトとして、 \url{https://github.com/ielab/asyncval}で利用可能である。

関連論文リスト

• ByteCheckpoint: A Unified Checkpointing System for Large Foundation Model Development [9.13331802151585]
  ByteCheckpoint は大規模 LFM トレーニングのための産業レベルのチェックポイントシステムである。 ByteCheckpoint はチェックポイントストールを著しく減少させ、平均54.20倍の減少を達成する。 ByteCheckpointは、保存時間とロード時間を最大9.96倍と8.80倍に改善した。
  論文  参考訳（メタデータ） (2024-07-29T16:18:20Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Bridging the Training-Inference Gap for Dense Phrase Retrieval [104.4836127502683]
  密度の高いレトリバーを構築するには、トレーニングやニューラルネットワークの検証など、一連の標準手順が必要である。 本稿では,高密度検索におけるトレーニングと推論のギャップを減らせる方法について検討する。 コーパス全体の小さな部分集合を用いて高密度レトリバーを効率よく検証する方法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T00:53:06Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• Three New Validators and a Large-Scale Benchmark Ranking for Unsupervised Domain Adaptation [37.03614011735927]
  教師なしドメイン適応(UDA)のための3つの新しいバリデータを提案する。 私たちは、1000,000のチェックポイントの大規模なデータセットで、他の5つのバリデータと比較し、ランク付けします。 提案するバリデータのうち2つは,様々な環境で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-08-15T17:55:26Z)
• Test-Time Adaptation via Self-Training with Nearest Neighbor Information [16.346069386394703]
  オンラインテストデータのみを使用してトレーニング済みの分類器を適用することが重要である。 テスト時間適応の一般的なアプローチの1つは、自己学習である。 本稿では,近隣情報を用いた自己学習によるテスト時間適応手法を提案する。
  論文  参考訳（メタデータ） (2022-07-08T05:02:15Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)
• Semi-Supervised Learning for Sparsely-Labeled Sequential Data: Application to Healthcare Video Processing [0.8312466807725921]
  逐次データにおける事象検出性能を向上させるための半教師付き機械学習学習戦略を提案する。 本手法では, 事象検出モデルの訓練に, 事象の終了時刻の雑音予測を用いる。 我々は,MNISTの平均精度が12ポイント,CIFARが3.5ポイント,保守的評価が12ポイント向上していることを示す。
  論文  参考訳（メタデータ） (2020-11-28T09:54:44Z)
• Check-N-Run: A Checkpointing System for Training Deep Learning Recommendation Models [5.604501524927757]
  我々はFacebookで大規模機械学習モデルをトレーニングするためのスケーラブルなチェックポイントシステムであるCheck-N-Runを紹介する。 Check-N-Runでは、サイズと帯域幅の問題に対処する2つの主要なテクニックを使用している。 これらの技術により、Check-N-Runは、実際のモデルで必要な書き込み帯域幅を6-17倍、必要な容量を2.5-8倍削減できる。
  論文  参考訳（メタデータ） (2020-10-17T00:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。