論文の概要: DRILL: Dynamic Representations for Imbalanced Lifelong Learning

• arxiv url: http://arxiv.org/abs/2105.08445v1
• Date: Tue, 18 May 2021 11:36:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 20:16:59.388576
• Title: DRILL: Dynamic Representations for Imbalanced Lifelong Learning
• Title（参考訳）: DRILL:不均衡生涯学習のための動的表現
• Authors: Kyra Ahrens, Fares Abawi, Stefan Wermter
• Abstract要約: 継続的あるいは生涯学習は、これまで機械学習において長年の課題だった。 オープンドメインテキスト分類のための新しい連続学習アーキテクチャDRILLを紹介する。
• 参考スコア（独自算出の注目度）: 15.606651610221416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual or lifelong learning has been a long-standing challenge in machine learning to date, especially in natural language processing (NLP). Although state-of-the-art language models such as BERT have ushered in a new era in this field due to their outstanding performance in multitask learning scenarios, they suffer from forgetting when being exposed to a continuous stream of data with shifting data distributions. In this paper, we introduce DRILL, a novel continual learning architecture for open-domain text classification. DRILL leverages a biologically inspired self-organizing neural architecture to selectively gate latent language representations from BERT in a task-incremental manner. We demonstrate in our experiments that DRILL outperforms current methods in a realistic scenario of imbalanced, non-stationary data without prior knowledge about task boundaries. To the best of our knowledge, DRILL is the first of its kind to use a self-organizing neural architecture for open-domain lifelong learning in NLP.
• Abstract（参考訳）: 継続的あるいは生涯的学習は、機械学習、特に自然言語処理(NLP)における長年にわたる課題である。 bertのような最先端の言語モデルは、マルチタスク学習シナリオにおける優れたパフォーマンスのために、この分野で新たな時代を迎えてきたが、データ分布のシフトを伴う連続したデータストリームに晒された時に忘れられてしまう。 本稿では,オープンドメインテキスト分類のための新しい連続学習アーキテクチャDRILLを紹介する。 DRILLは生物学的にインスパイアされた自己組織化ニューラルアーキテクチャを利用して、BERTから潜在言語表現をタスクインクリメンタルに選択的にゲートする。 本実験では,DRILLがタスク境界に関する事前知識を必要とせず,非定常的な非定常データの現実的なシナリオにおいて,現在の手法よりも優れていることを示す。 我々の知る限りでは、DRILLはNLPのオープンドメイン生涯学習に自己組織化ニューラルアーキテクチャを使用した最初の種類のものだ。

関連論文リスト

• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
  Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。 独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
  論文  参考訳（メタデータ） (2023-08-14T13:53:18Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Embedding Symbolic Temporal Knowledge into Deep Sequential Models [21.45383857094518]
  時系列や時系列はロボットのタスク、例えば活動認識や模倣学習で発生することが多い。 深層ニューラルネットワーク(DNN)は、十分なトレーニングデータと計算リソースを与えられたシーケンスを処理する効果的なデータ駆動手法として登場した。 グラフニューラルネットワークを用いて定式から生成された自動機械のセマンティックな埋め込みを構築する。実験により、これらの学習された埋め込みは、シーケンシャルな動作認識や模倣学習などの下流ロボットタスクの改善につながることが示された。
  論文  参考訳（メタデータ） (2021-01-28T13:17:46Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)
• A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning [48.87397222244402]
  タスクフリー連続学習のための拡張型アプローチを提案する。 我々のモデルは、識別的タスクと生成的タスクの両方に対してタスクフリー連続学習を成功させる。
  論文  参考訳（メタデータ） (2020-01-03T02:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。