論文の概要: Studying Catastrophic Forgetting in Neural Ranking Models

• arxiv url: http://arxiv.org/abs/2101.06984v1
• Date: Mon, 18 Jan 2021 10:42:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 13:17:21.239200
• Title: Studying Catastrophic Forgetting in Neural Ranking Models
• Title（参考訳）: ニューラルランク付けモデルにおけるカタストロフィックフォーミングの研究
• Authors: Jesus Lovon-Melgarejo, Laure Soulier, Karen Pinel-Sauvagnat, Lynda Tamine
• Abstract要約: ニューラルランキングモデルは、新しい知識を得た後、これまで観測された領域から得られた古い知識を破滅的に忘れる程度に研究する。 ニューラルIRランキングモデルの有効性は破滅的忘れのコストで達成できることを示した。 得られた結果は、神経IRにおける理論的および実用的な将来の作業に有用であると考えます。
• 参考スコア（独自算出の注目度）: 3.8596788671326947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several deep neural ranking models have been proposed in the recent IR literature. While their transferability to one target domain held by a dataset has been widely addressed using traditional domain adaptation strategies, the question of their cross-domain transferability is still under-studied. We study here in what extent neural ranking models catastrophically forget old knowledge acquired from previously observed domains after acquiring new knowledge, leading to performance decrease on those domains. Our experiments show that the effectiveness of neuralIR ranking models is achieved at the cost of catastrophic forgetting and that a lifelong learning strategy using a cross-domain regularizer success-fully mitigates the problem. Using an explanatory approach built on a regression model, we also show the effect of domain characteristics on the rise of catastrophic forgetting. We believe that the obtained results can be useful for both theoretical and practical future work in neural IR.
• Abstract（参考訳）: 最近のIR文献では、いくつかの深いニューラルネットワークランキングモデルが提案されている。 データセットが保持する1つのターゲットドメインへの転送性は、従来のドメイン適応戦略を用いて広く取り組まれているが、そのクロスドメイン転送性に関する問題は、まだ未検討である。 ニューラルランキングモデルは、新しい知識を得た後、以前に観測された領域から得られた古い知識を破滅的に忘れる程度に研究し、これらの領域のパフォーマンスを低下させる。 実験の結果,脳波ランキングモデルの有効性は破滅的な忘れを犠牲にして達成され,クロスドメイン正規化器を用いた生涯学習戦略が問題を軽減することがわかった。 また,回帰モデルに基づく説明的アプローチを用いて,ドメイン特性が破滅的忘れることの高まりに与える影響を示す。 得られた結果は,神経赤外線における理論的および実用的な研究に有用であると考えられる。

関連論文リスト

• Predicting Resilience with Neural Networks [1.4425878137951238]
  レジリエンスエンジニアリングは、システムが破壊的な出来事から生き残り、回復する能力を研究する。 本稿では,システム性能のモデル化と予測のための3つの代替ニューラルネットワーク(NN)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-11T17:29:49Z)
• Principles of Forgetting in Domain-Incremental Semantic Segmentation in Adverse Weather Conditions [0.0]
  逆気象条件は、トレーニング中にそのようなデータが入手できない場合、モデルの性能を著しく低下させることができる。 気象条件下でのドメイン・インクリメンタル・ラーニングにおいて,セマンティックセグメンテーション・モデルの表現がどのように影響を受けるかを検討する。 実験と表現分析から,大惨な忘れは,ドメイン・インクリメンタル・ラーニングにおける低レベルの特徴の変化に起因することが示唆された。
  論文  参考訳（メタデータ） (2023-03-24T16:23:49Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• Algorithms and Theory for Supervised Gradual Domain Adaptation [19.42476993856205]
  本研究では, 学習者に対して, 学習経路に沿った変化分布からラベル付きデータを利用できるようにするための, 教師付き段階的領域適応の課題について検討する。 この設定の下では、軽度な仮定の下で学習誤差に関する最初の一般化上限を提供する。 本研究の結果は, 損失関数の範囲に依存しないアルゴリズムであり, 軌道上の平均学習誤差にのみ依存する。
  論文  参考訳（メタデータ） (2022-04-25T13:26:11Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• Retrospective Loss: Looking Back to Improve Training of Deep Neural Networks [15.329684157845872]
  我々は、ディープニューラルネットワークモデルのトレーニングを改善するために、新しい振り返り損失を導入する。 レトロスペクティブの損失を最小限に抑え、タスク固有の損失と共に、現在のトレーニングステップでパラメータ状態を最適なパラメータ状態にプッシュします。 簡単なアイデアではあるが、我々はこの手法を解析し、ドメイン全体にわたる包括的な実験を行う。
  論文  参考訳（メタデータ） (2020-06-24T10:16:36Z)
• Adversarial-based neural networks for affect estimations in the wild [3.3335236123901995]
  本研究では,本研究で提案した対戦型ネットワークによる潜在機能の利用について検討する。 具体的には,判別器にいくつかのモードをアグリゲートすることで,生成器が抽出した潜在特性にさらに適応する。 最近リリースされたSEWAデータセットの実験は、結果の進歩的な改善を示唆している。
  論文  参考訳（メタデータ） (2020-02-03T16:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。