論文の概要: Advancing continual lifelong learning in neural information retrieval:
definition, dataset, framework, and empirical evaluation
- arxiv url: http://arxiv.org/abs/2308.08378v1
- Date: Wed, 16 Aug 2023 14:01:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 13:15:43.381959
- Title: Advancing continual lifelong learning in neural information retrieval:
definition, dataset, framework, and empirical evaluation
- Title（参考訳）: 神経情報検索における生涯学習の進歩--定義、データセット、フレームワーク、経験的評価
- Authors: Jingrui Hou and Georgina Cosma and Axel Finke
- Abstract要約: 連続的なニューラル情報検索の系統的なタスク定式化を示す。
包括的連続神経情報検索フレームワークを提案する。
経験的評価は,提案フレームワークが神経情報検索における破滅的な忘れ込みを効果的に防止できることを示唆している。
- 参考スコア（独自算出の注目度）: 3.63475127126282
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Continual learning refers to the capability of a machine learning model to
learn and adapt to new information, without compromising its performance on
previously learned tasks. Although several studies have investigated continual
learning methods for information retrieval tasks, a well-defined task
formulation is still lacking, and it is unclear how typical learning strategies
perform in this context. To address this challenge, a systematic task
formulation of continual neural information retrieval is presented, along with
a multiple-topic dataset that simulates continuous information retrieval. A
comprehensive continual neural information retrieval framework consisting of
typical retrieval models and continual learning strategies is then proposed.
Empirical evaluations illustrate that the proposed framework can successfully
prevent catastrophic forgetting in neural information retrieval and enhance
performance on previously learned tasks. The results indicate that
embedding-based retrieval models experience a decline in their continual
learning performance as the topic shift distance and dataset volume of new
tasks increase. In contrast, pretraining-based models do not show any such
correlation. Adopting suitable learning strategies can mitigate the effects of
topic shift and data augmentation.
- Abstract（参考訳）: 連続学習とは、学習したタスクのパフォーマンスを損なうことなく、新しい情報を学び、適応する機械学習モデルの能力を指す。
情報検索タスクの連続学習方法に関する研究がいくつか行われているが、明確に定義されたタスクの定式化はまだ不十分であり、この文脈で典型的な学習戦略がどのように機能するかは定かではない。
この課題に対処するため、連続した情報検索をシミュレートするマルチトピックデータセットとともに、連続的な情報検索の体系的なタスク定式化が提示される。
そこで,典型的な検索モデルと連続学習戦略からなる包括的連続神経情報検索フレームワークを提案する。
経験的評価から,提案フレームワークは,ニューラルネットワーク検索における破滅的な忘れ込みを効果的に防止し,以前に学習したタスクの性能向上を図っている。
その結果,組込み型検索モデルは,トピックシフト距離や新たなタスクのデータセット量の増加に伴い,連続学習性能が低下することが示された。
対照的に、事前学習に基づくモデルはそのような相関は示さない。
適切な学習戦略を採用することで、トピックシフトとデータ拡張の効果が軽減される。
関連論文リスト
- Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - Explaining Deep Models through Forgettable Learning Dynamics [12.653673008542155]
学習中の学習行動の可視化には,その後の学習の時期において,サンプルがどれだけ多く学習され,忘れられるかを追跡する。
この現象に触発されて,この情報を積極的に利用してモデル内のデータ表現を変化させる新たなセグメンテーション手法を提案する。
論文 参考訳（メタデータ） (2023-01-10T21:59:20Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。
タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。
クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
論文 参考訳（メタデータ） (2022-04-12T12:25:05Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳（メタデータ） (2022-02-12T06:10:15Z) - Lifelong Learning from Event-based Data [22.65311698505554]
イベントカメラが生成したデータから学習する方法を検討する。
特徴抽出と連続学習の両方からなるモデルを提案する。
論文 参考訳（メタデータ） (2021-11-11T17:59:41Z) - Adaptive Explainable Continual Learning Framework for Regression
Problems with Focus on Power Forecasts [0.0]
この文脈における潜在的な課題を説明するために、2つの連続的な学習シナリオが提案される。
ディープニューラルネットワークは、新しいタスクを学習し、アプリケーションのデータ量が増加し続けるにつれて、古いタスクから得た知識を忘れないようにしなければならない。
研究トピックは関連しているが、連続的なディープラーニングアルゴリズムの開発、データストリームにおける非定常検出戦略、説明可能で可視化可能な人工知能などに限定されていない。
論文 参考訳（メタデータ） (2021-08-24T14:59:10Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳（メタデータ） (2021-05-10T15:09:01Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳（メタデータ） (2020-06-10T15:15:27Z) - Provable Meta-Learning of Linear Representations [114.656572506859]
我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。
また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
論文 参考訳（メタデータ） (2020-02-26T18:21:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。