論文の概要: TaskDrop: A Competitive Baseline for Continual Learning of Sentiment Classification

• arxiv url: http://arxiv.org/abs/2112.02995v1
• Date: Fri, 5 Nov 2021 15:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-12 20:01:35.516603
• Title: TaskDrop: A Competitive Baseline for Continual Learning of Sentiment Classification
• Title（参考訳）: taskdrop: 感情分類の継続的な学習のための競争ベースライン
• Authors: Jianping Mei, Yilun Zheng, Qianwei Zhou, Rui Yan
• Abstract要約: 連続学習環境におけるマルチタスク感情分類問題について検討する。 異なる製品カテゴリのレビューにおける共通の感情語の使用は、大きなタスク間類似性をもたらす。 マスクをランダムに生成するためのTask-aware Dropout (TaskDrop) という手法を提案する。
• 参考スコア（独自算出の注目度）: 19.314131546073053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the multi-task sentiment classification problem in the continual learning setting, i.e., a model is sequentially trained to classifier the sentiment of reviews of products in a particular category. The use of common sentiment words in reviews of different product categories leads to large cross-task similarity, which differentiates it from continual learning in other domains. This knowledge sharing nature renders forgetting reduction focused approaches less effective for the problem under consideration. Unlike existing approaches, where task-specific masks are learned with specifically presumed training objectives, we propose an approach called Task-aware Dropout (TaskDrop) to generate masks in a random way. While the standard dropout generates and applies random masks for each training instance per epoch for effective regularization, TaskDrop applies random masking for task-wise capacity allocation and reuse. We conducted experimental studies on three multi-task review datasets and made comparison to various baselines and state-of-the-art approaches. Our empirical results show that regardless of simplicity, TaskDrop overall achieved competitive performances for all the three datasets, especially after relative long term learning. This demonstrates that the proposed random capacity allocation mechanism works well for continual sentiment classification.
• Abstract（参考訳）: 本稿では,継続学習環境におけるマルチタスク感情分類問題,すなわち,特定のカテゴリーにおける製品レビューの感情分類を逐次学習するモデルについて検討する。 異なる製品カテゴリのレビューにおける共通の感情語の使用は、他のドメインでの継続的な学習と区別する、大きなタスク間類似性をもたらす。 この知識共有の性質は、考慮中の問題に対して、集中的なアプローチを忘れることの少ないものである。 タスク固有のマスクを特別に想定したトレーニング目標で学習する既存のアプローチと異なり,タスク対応ドロップアウト(taskdrop)と呼ばれる,ランダムにマスクを生成する手法を提案する。 標準的なドロップアウトは、効果的な正規化のために各トレーニングインスタンス毎のランダムマスクを生成して適用するが、taskdropはタスク毎のキャパシティ割り当てと再利用のためにランダムマスクを適用する。 3つのマルチタスクレビューデータセットについて実験を行い,様々なベースラインと最先端のアプローチとの比較を行った。 実験結果から,TaskDropは3つのデータセットすべてに対して,特に相対的長期学習後に総合的に競合性能を達成した。 これは、提案したランダムキャパシティ割り当て機構が連続的な感情分類に有効であることを示す。

関連論文リスト

• RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception [64.80760846124858]
  本稿では,様々な知覚タスクの表現を調和させる新しい統一表現RepVFを提案する。 RepVFは、ベクトル場を通じてシーン内の異なるターゲットの構造を特徴付け、シングルヘッドでマルチタスクの学習モデルを可能にする。 RepVF 上に構築された RFTR は,タスク間の固有性を利用したネットワークである。
  論文  参考訳（メタデータ） (2024-07-15T16:25:07Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
  時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
  論文  参考訳（メタデータ） (2023-03-02T07:44:06Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• ImpressLearn: Continual Learning via Combined Task Impressions [0.0]
  本研究は、破滅的な忘れを苦しめることなく、複数のタスクでディープニューラルネットワークを逐次訓練する新しい手法を提案する。 ランダムなバックボーンネットワーク上で少数のタスク固有のマスクの線形結合を学習するだけで、以前に学習したタスクの精度を維持したり、新しいタスクの精度を高めることができることを示す。
  論文  参考訳（メタデータ） (2022-10-05T02:28:25Z)
• A Multi-label Continual Learning Framework to Scale Deep Learning Approaches for Packaging Equipment Monitoring [57.5099555438223]
  連続シナリオにおけるマルチラベル分類を初めて研究した。 タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。 我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
  論文  参考訳（メタデータ） (2022-08-08T15:58:39Z)
• Interval Bound Interpolation for Few-shot Learning with Few Tasks [15.85259386116784]
  少ないショット学習は、さまざまなタスクのトレーニングから得られた知識を、限られたラベル付きデータで見つからないタスクに転送することを目的としている。 そこで本研究では,頑健な学習文献から数ショット学習まで,インターバルバウンダリの概念を紹介した。 次に、利用可能なタスクと各インターバル境界を補間することにより、トレーニングのための新しいタスクを人工的に形成する。
  論文  参考訳（メタデータ） (2022-04-07T15:29:27Z)
• Contrastive Continual Learning with Feature Propagation [32.70482982044965]
  連続した機械学習者は、異なるタスク間でドメインやクラスシフトを伴うタスクのストリームを寛大に学習する。 本稿では,複数の連続学習シナリオを処理可能な特徴伝達に基づくコントラスト型連続学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-03T04:55:28Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Combat Data Shift in Few-shot Learning with Knowledge Graph [42.59886121530736]
  現実世界のアプリケーションでは、少数ショットの学習パラダイムはデータシフトに悩まされることが多い。 既存の少数ショット学習アプローチのほとんどは、データシフトを考慮して設計されていない。 本稿では,タスク固有表現とタスク共有表現を抽出するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-27T12:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。