論文の概要: Continual Machine Reading Comprehension via Uncertainty-aware Fixed Memory and Adversarial Domain Adaptation

• arxiv url: http://arxiv.org/abs/2208.05217v1
• Date: Wed, 10 Aug 2022 08:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-11 12:48:12.822209
• Title: Continual Machine Reading Comprehension via Uncertainty-aware Fixed Memory and Adversarial Domain Adaptation
• Title（参考訳）: 不確実性を考慮した固定記憶と対向領域適応による連続機械読解
• Authors: Zhijing Wu, Hua Xu, Jingliang Fang and Kai Gao
• Abstract要約: Continual Machine Readingは、前回見たデータにアクセスせずに、時間にわたって連続したデータストリームから漸進的に学習することを目的としている。 本稿では,不確実性を考慮した固定メモリと逆数領域を適応した連続的MRCモデルMA-MRCを提案する。
• 参考スコア（独自算出の注目度）: 14.91537558305873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Machine Reading Comprehension aims to incrementally learn from a continuous data stream across time without access the previous seen data, which is crucial for the development of real-world MRC systems. However, it is a great challenge to learn a new domain incrementally without catastrophically forgetting previous knowledge. In this paper, MA-MRC, a continual MRC model with uncertainty-aware fixed Memory and Adversarial domain adaptation, is proposed. In MA-MRC, a fixed size memory stores a small number of samples in previous domain data along with an uncertainty-aware updating strategy when new domain data arrives. For incremental learning, MA-MRC not only keeps a stable understanding by learning both memory and new domain data, but also makes full use of the domain adaptation relationship between them by adversarial learning strategy. The experimental results show that MA-MRC is superior to strong baselines and has a substantial incremental learning ability without catastrophically forgetting under two different continual MRC settings.
• Abstract（参考訳）: Continual Machine Reading Comprehensionは、実世界のMRCシステムの開発において不可欠である、前回見たデータにアクセスせずに、連続的なデータストリームから徐々に学習することを目的としている。 しかし、過去の知識を破滅的に忘れずに新しいドメインを段階的に学ぶことは大きな課題です。 本稿では,不確実性を考慮した固定メモリおよび逆数領域適応型連続MRCモデルMA-MRCを提案する。 MA-MRCでは、固定サイズのメモリは、前のドメインデータに少数のサンプルを格納し、新しいドメインデータが到着したときに不確実性を認識した更新戦略を記憶する。 逐次学習においては、MA-MRCはメモリと新しいドメインデータの両方を学習することで安定した理解を維持するだけでなく、敵対的な学習戦略によってドメイン適応関係を完全に活用する。 実験の結果,MA-MRCは強いベースラインよりも優れており,2つの連続MCC設定下で破滅的に忘れることなく,実質的な漸進学習能力を有することがわかった。

関連論文リスト

• Patch-Based Contrastive Learning and Memory Consolidation for Online Unsupervised Continual Learning [6.042269506496206]
  我々は、オンライン教師なし連続学習(O-UCL)として知られる比較的未探索の学習パラダイムに焦点を当てる。 O-UCLは、教師なし、継続的、あるいはオンライン学習における以前の作業とは異なり、3つの領域を1つの挑戦的で現実的な学習パラダイムにまとめている。 この設定では、エージェントは頻繁に評価され、指定されたオフラインタスクの最後にではなく、データストリームの任意の時点で可能な限りの表現を維持することを目標とする必要があります。
  論文  参考訳（メタデータ） (2024-09-24T18:46:32Z)
• Continual Multimodal Knowledge Graph Construction [62.77243705682985]
  現在のマルチモーダル知識グラフ構築(MKGC)モデルは、絶え間なく出現する実体と関係の現実的なダイナミズムに苦慮している。 本研究では,連続的なMKGCドメインの開発を促進するためのベンチマークを紹介する。 マルチメディアデータ処理における既存のMKGCアプローチの欠点を克服するMSPTフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-05-15T14:58:28Z)
• Domain-incremental Cardiac Image Segmentation with Style-oriented Replay and Domain-sensitive Feature Whitening [67.6394526631557]
  M&Mは、各受信データセットから漸進的に学習し、時間が経つにつれて改善された機能で漸進的に更新する必要がある。 医学的シナリオでは、データのプライバシのため、過去のデータへのアクセスや保存が一般的に許可されないため、これは特に困難である。 本稿では,まず過去のドメイン入力を復元し,モデル最適化中に定期的に再生する新しいドメイン増分学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-09T13:07:36Z)
• Continual Variational Autoencoder Learning via Online Cooperative Memorization [11.540150938141034]
  変分オートエンコーダ(VAE)は連続的な学習分類タスクでうまく使われている。 しかし、連続学習で学んだクラスやデータベースに対応する仕様で画像を生成する能力はよく理解されていない。 我々は、CLを動的最適輸送問題として定式化する新しい理論フレームワークを開発する。 次に,新しいメモリバッファリング手法,すなわちオンライン協調記憶(OCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-20T18:19:27Z)
• Learning an evolved mixture model for task-free continual learning [11.540150938141034]
  タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。 メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
  論文  参考訳（メタデータ） (2022-07-11T16:01:27Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Reproducibility Report: La-MAML: Look-ahead Meta Learning for Continual Learning [0.0]
  連続学習問題は、限られた計算条件下での一連のタスクをうまく実行することを伴う。 最適化ベースのメタ学習アルゴリズムであるLa-MAMLは、他のリプレイベース、事前ベース、メタ学習ベースのアプローチよりも優れていると主張している。
  論文  参考訳（メタデータ） (2021-02-11T03:05:57Z)
• Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification [59.326456778057384]
  本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。 また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。 実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2020-12-01T11:38:16Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。