論文の概要: Reduce Catastrophic Forgetting of Dense Retrieval Training with Teleportation Negatives

• arxiv url: http://arxiv.org/abs/2210.17167v1
• Date: Mon, 31 Oct 2022 09:25:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 17:18:53.257984
• Title: Reduce Catastrophic Forgetting of Dense Retrieval Training with Teleportation Negatives
• Title（参考訳）: テレポーテーション・ネガを用いた高密度検索訓練における壊滅的記憶の軽減
• Authors: Si Sun, Chenyan Xiong, Yue Yu, Arnold Overwijk, Zhiyuan Liu, Jie Bao
• Abstract要約: トレーニングの繰り返しにおいて、モデルが異なる負のグループを学び、忘れてしまうという、トレーニング不安定性の裏にある破滅的な忘れ現象を示す。 本稿では,過去の繰り返しからモーメント負を蓄積し,ルックアヘッド負を用いて将来の反復を近似するance-Teleを提案する。 解析により, テレポーテーションの負は破滅的な忘れを減らし, 集中検索訓練における収束速度を向上することが示された。
• 参考スコア（独自算出の注目度）: 35.97987868283034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the instability in the standard dense retrieval training, which iterates between model training and hard negative selection using the being-trained model. We show the catastrophic forgetting phenomena behind the training instability, where models learn and forget different negative groups during training iterations. We then propose ANCE-Tele, which accumulates momentum negatives from past iterations and approximates future iterations using lookahead negatives, as "teleportations" along the time axis to smooth the learning process. On web search and OpenQA, ANCE-Tele outperforms previous state-of-the-art systems of similar size, eliminates the dependency on sparse retrieval negatives, and is competitive among systems using significantly more (50x) parameters. Our analysis demonstrates that teleportation negatives reduce catastrophic forgetting and improve convergence speed for dense retrieval training. Our code is available at https://github.com/OpenMatch/ANCE-Tele.
• Abstract（参考訳）: 本稿では, モデル学習とハード・ネガティブ・セレクションを繰り返す標準高密度検索訓練の不安定性について, 学習中モデルを用いて検討する。 モデルが異なる負のグループを学習し、トレーニングイテレーション中に忘れるという、トレーニング不安定の背後にある破滅的な忘れる現象を示す。 次に,過去の反復からのモーメント負を蓄積し,ルックアヘッド負を用いた将来のイテレーションを学習プロセスを円滑にするための時間軸に沿った「テレポーテーション」として近似するance-teleを提案する。 Web検索とOpenQAでは、ANCE-Teleは、類似したサイズの最先端システムよりも優れており、スパース検索の負の依存性を排除し、より多くの(50倍)パラメータを使用するシステム間で競合する。 本研究では, テレポーテーション陰性が壊滅的な記憶を減少させ, コンバージェンス速度を向上させることを示す。 私たちのコードはhttps://github.com/openmatch/ance-teleで利用可能です。

関連論文リスト

• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for Neural Machine Translation [15.309573393914462]
  ニューラルネットワークは、動的データ分布から複数のタスクを逐次学習する際に、これまで学んだ知識を忘れがちである。 この問題はtextitcatastrophic forgettingと呼ばれ、ニューラルネットワークの継続的な学習における根本的な課題である。 本研究では,特定のデータ注文に基づいて訓練された教師モデルを動的に更新し,学生モデルに補完的知識を反復的に提供するための補完的オンライン知識蒸留(COKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-08T08:08:45Z)
• Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking [58.14267480293575]
  オフライン学習を必要とせず、簡単な効果的なオンライン学習手法を提案する。 これは、モデルが以前見たオブジェクトに関する知識を記憶するための、内蔵されたメモリ保持メカニズムを可能にする。 我々は、RT-MDNetにおける多層パーセプトロンと、DiMPにおける畳み込みニューラルネットワークの追跡のためのオンライン学習ファミリーにおける2つのネットワークに基づくアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-28T06:51:18Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Social NCE: Contrastive Learning of Socially-aware Motion Representations [87.82126838588279]
  実験結果から, 提案手法は最近の軌道予測, 行動クローニング, 強化学習アルゴリズムの衝突速度を劇的に低減することがわかった。 本手法は,ニューラルネットワークの設計に関する仮定をほとんど示さないため,神経運動モデルのロバスト性を促進する汎用的手法として使用できる。
  論文  参考訳（メタデータ） (2020-12-21T22:25:06Z)
• Neural Network Retraining for Model Serving [32.857847595096025]
  我々は、推論における新しいデータの継続的な流れに対応するために、ニューラルネットワークモデルの漸進的(再)トレーニングを提案する。 破滅的な再トレーニングと効率的な再トレーニングの2つの課題に対処する。
  論文  参考訳（メタデータ） (2020-04-29T13:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。