論文の概要: Continual Learning of Long Topic Sequences in Neural Information
Retrieval
- arxiv url: http://arxiv.org/abs/2201.03356v1
- Date: Mon, 10 Jan 2022 14:19:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-11 18:43:45.988400
- Title: Continual Learning of Long Topic Sequences in Neural Information
Retrieval
- Title(参考訳): 神経情報検索における長話題系列の連続学習
- Authors: Thomas Gerald and Laure Soulier
- Abstract要約: まず,MSMarcoコーパスに基づいて,トピックの長いストリームをモデル化するデータセットを提案する。
次に、これらのストリームを継続的に学習しながら、最近のニューラルIRモデルの能力を詳細に分析する。
- 参考スコア(独自算出の注目度): 2.3846478553599098
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In information retrieval (IR) systems, trends and users' interests may change
over time, altering either the distribution of requests or contents to be
recommended. Since neural ranking approaches heavily depend on the training
data, it is crucial to understand the transfer capacity of recent IR approaches
to address new domains in the long term. In this paper, we first propose a
dataset based upon the MSMarco corpus aiming at modeling a long stream of
topics as well as IR property-driven controlled settings. We then in-depth
analyze the ability of recent neural IR models while continually learning those
streams. Our empirical study highlights in which particular cases catastrophic
forgetting occurs (e.g., level of similarity between tasks, peculiarities on
text length, and ways of learning models) to provide future directions in terms
of model design.
- Abstract(参考訳): 情報検索(IR)システムでは、トレンドやユーザの興味は時間とともに変化し、推奨される要求の分布やコンテンツを変更する。
ニューラルランキングのアプローチはトレーニングデータに大きく依存するため、長期的には新しいドメインに対処するための最近のIRアプローチの転送能力を理解することが不可欠である。
本稿ではまず,MSMarcoコーパスをベースとした,長いトピックストリームとIRプロパティ駆動制御設定のモデル化を目的としたデータセットを提案する。
次に、これらのストリームを継続的に学習しながら、最近のニューラルIRモデルの能力を詳細に分析する。
我々の経験的研究は、モデル設計の観点から将来の方向性を提供するために、破滅的な忘れ事(例えば、タスク間の類似度、テキスト長の特異性、学習方法など)が発生する特定のケースに焦点を当てている。
関連論文リスト
- On the Resurgence of Recurrent Models for Long Sequences -- Survey and
Research Opportunities in the Transformer Era [59.279784235147254]
この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。
長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
論文 参考訳(メタデータ) (2024-02-12T23:55:55Z) - Neural Koopman prior for data assimilation [6.699751896019971]
ニューラルネットワークアーキテクチャを使って、潜在空間に動的システムを埋め込む。
本研究では,このようなモデルを長期の継続的再構築のために訓練する手法を提案する。
また,変動データ同化手法の先行として,訓練された動的モデルの有望な利用を示すとともに,自己教師型学習の可能性も示された。
論文 参考訳(メタデータ) (2023-09-11T09:04:36Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳(メタデータ) (2023-03-21T15:02:50Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - An Adaptive Federated Relevance Framework for Spatial Temporal Graph
Learning [14.353798949041698]
本稿では,空間時間グラフ学習のための適応型フェデレーション関連フレームワークであるFedRelを提案する。
フレームワークのコアとなるDynamic Inter-Intra Graph (DIIG)モジュールは、これらの機能を使用して空間時間グラフを生成することができる。
局所的なデータプライバシーを維持しながらモデルの一般化能力と性能を向上させるため、関連性駆動型フェデレーション学習モジュールを設計する。
論文 参考訳(メタデータ) (2022-06-07T16:12:17Z) - Temporal Relevance Analysis for Video Action Models [70.39411261685963]
まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。
次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
論文 参考訳(メタデータ) (2022-04-25T19:06:48Z) - Entity-Conditioned Question Generation for Robust Attention Distribution
in Neural Information Retrieval [51.53892300802014]
教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。
目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
論文 参考訳(メタデータ) (2022-04-24T22:36:48Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Variational Predictive Routing with Nested Subjective Timescales [1.6114012813668934]
本稿では,時間的階層に潜む映像の特徴を整理するニューラル推論システムである変動予測ルーティング(PRV)を提案する。
VPRはイベント境界を検出し、時間的特徴を分散させ、データの動的階層に適応し、未来の正確な時間に依存しないロールアウトを生成することができることを示す。
論文 参考訳(メタデータ) (2021-10-21T16:12:59Z) - Adaptive Explainable Continual Learning Framework for Regression
Problems with Focus on Power Forecasts [0.0]
この文脈における潜在的な課題を説明するために、2つの連続的な学習シナリオが提案される。
ディープニューラルネットワークは、新しいタスクを学習し、アプリケーションのデータ量が増加し続けるにつれて、古いタスクから得た知識を忘れないようにしなければならない。
研究トピックは関連しているが、連続的なディープラーニングアルゴリズムの開発、データストリームにおける非定常検出戦略、説明可能で可視化可能な人工知能などに限定されていない。
論文 参考訳(メタデータ) (2021-08-24T14:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。