論文の概要: Continual Learning of Long Topic Sequences in Neural Information Retrieval

• arxiv url: http://arxiv.org/abs/2201.03356v1
• Date: Mon, 10 Jan 2022 14:19:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 18:43:45.988400
• Title: Continual Learning of Long Topic Sequences in Neural Information Retrieval
• Title（参考訳）: 神経情報検索における長話題系列の連続学習
• Authors: Thomas Gerald and Laure Soulier
• Abstract要約: まず,MSMarcoコーパスに基づいて,トピックの長いストリームをモデル化するデータセットを提案する。 次に、これらのストリームを継続的に学習しながら、最近のニューラルIRモデルの能力を詳細に分析する。
• 参考スコア（独自算出の注目度）: 2.3846478553599098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In information retrieval (IR) systems, trends and users' interests may change over time, altering either the distribution of requests or contents to be recommended. Since neural ranking approaches heavily depend on the training data, it is crucial to understand the transfer capacity of recent IR approaches to address new domains in the long term. In this paper, we first propose a dataset based upon the MSMarco corpus aiming at modeling a long stream of topics as well as IR property-driven controlled settings. We then in-depth analyze the ability of recent neural IR models while continually learning those streams. Our empirical study highlights in which particular cases catastrophic forgetting occurs (e.g., level of similarity between tasks, peculiarities on text length, and ways of learning models) to provide future directions in terms of model design.
• Abstract（参考訳）: 情報検索(IR)システムでは、トレンドやユーザの興味は時間とともに変化し、推奨される要求の分布やコンテンツを変更する。 ニューラルランキングのアプローチはトレーニングデータに大きく依存するため、長期的には新しいドメインに対処するための最近のIRアプローチの転送能力を理解することが不可欠である。 本稿ではまず,MSMarcoコーパスをベースとした,長いトピックストリームとIRプロパティ駆動制御設定のモデル化を目的としたデータセットを提案する。 次に、これらのストリームを継続的に学習しながら、最近のニューラルIRモデルの能力を詳細に分析する。 我々の経験的研究は、モデル設計の観点から将来の方向性を提供するために、破滅的な忘れ事(例えば、タスク間の類似度、テキスト長の特異性、学習方法など)が発生する特定のケースに焦点を当てている。

関連論文リスト

• Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective [111.58315434849047]
  ニューラルネットワーク検索モデル(IR)モデルの堅牢性は、大きな注目を集めている。 我々は、IRの堅牢性を多面的概念とみなし、敵攻撃、アウト・オブ・ディストリビューション(OOD)シナリオ、パフォーマンスのばらつきに対してその必要性を強調している。 我々は,既存の手法,データセット,評価指標について詳細な議論を行い,大規模言語モデルの時代における課題や今後の方向性に光を当てる。
  論文  参考訳（メタデータ） (2024-07-09T16:07:01Z)
• State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
  このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。 新たなイメージは、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを考える余地があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-13T12:51:22Z)
• On the Resurgence of Recurrent Models for Long Sequences -- Survey and Research Opportunities in the Transformer Era [59.279784235147254]
  この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。 長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
  論文  参考訳（メタデータ） (2024-02-12T23:55:55Z)
• Neural Koopman prior for data assimilation [7.875955593012905]
  ニューラルネットワークアーキテクチャを使って、潜在空間に動的システムを埋め込む。 本研究では,このようなモデルを長期の継続的再構築のために訓練する手法を提案する。 また,変動データ同化手法の先行として,訓練された動的モデルの有望な利用を示すとともに,自己教師型学習の可能性も示された。
  論文  参考訳（メタデータ） (2023-09-11T09:04:36Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Temporal Relevance Analysis for Video Action Models [70.39411261685963]
  まず,CNNに基づく行動モデルにより捉えたフレーム間の時間的関係を定量化する手法を提案する。 次に、時間的モデリングがどのように影響を受けるかをよりよく理解するために、包括的な実験と詳細な分析を行います。
  論文  参考訳（メタデータ） (2022-04-25T19:06:48Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Variational Predictive Routing with Nested Subjective Timescales [1.6114012813668934]
  本稿では,時間的階層に潜む映像の特徴を整理するニューラル推論システムである変動予測ルーティング(PRV)を提案する。 VPRはイベント境界を検出し、時間的特徴を分散させ、データの動的階層に適応し、未来の正確な時間に依存しないロールアウトを生成することができることを示す。
  論文  参考訳（メタデータ） (2021-10-21T16:12:59Z)
• Adaptive Explainable Continual Learning Framework for Regression Problems with Focus on Power Forecasts [0.0]
  この文脈における潜在的な課題を説明するために、2つの連続的な学習シナリオが提案される。 ディープニューラルネットワークは、新しいタスクを学習し、アプリケーションのデータ量が増加し続けるにつれて、古いタスクから得た知識を忘れないようにしなければならない。 研究トピックは関連しているが、連続的なディープラーニングアルゴリズムの開発、データストリームにおける非定常検出戦略、説明可能で可視化可能な人工知能などに限定されていない。
  論文  参考訳（メタデータ） (2021-08-24T14:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。