論文の概要: Integrating Contrastive Learning into a Multitask Transformer Model for
Effective Domain Adaptation
- arxiv url: http://arxiv.org/abs/2310.04703v1
- Date: Sat, 7 Oct 2023 06:41:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 16:28:33.476050
- Title: Integrating Contrastive Learning into a Multitask Transformer Model for
Effective Domain Adaptation
- Title(参考訳): 効果的なドメイン適応のためのマルチタスク変換モデルへのコントラスト学習の統合
- Authors: Chung-Soo Ahn, Jagath C. Rajapakse and Rajib Rana
- Abstract要約: 本稿では,SERを主課題とするマルチタスクフレームワークを具現化した新しいドメイン適応手法を提案する。
提案手法は, クロスコーパスシナリオにおけるSERの最先端性能を実現する。
- 参考スコア(独自算出の注目度): 4.157415305926585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While speech emotion recognition (SER) research has made significant
progress, achieving generalization across various corpora continues to pose a
problem. We propose a novel domain adaptation technique that embodies a
multitask framework with SER as the primary task, and contrastive learning and
information maximisation loss as auxiliary tasks, underpinned by fine-tuning of
transformers pre-trained on large language models. Empirical results obtained
through experiments on well-established datasets like IEMOCAP and MSP-IMPROV,
illustrate that our proposed model achieves state-of-the-art performance in SER
within cross-corpus scenarios.
- Abstract(参考訳): 音声感情認識(SER)研究は大きな進歩を遂げてきたが、様々なコーパスにまたがる一般化が問題となっている。
本稿では,serを主タスクとするマルチタスクフレームワークと,大規模言語モデルで事前学習されたトランスフォーマの微調整に基づく補助タスクとしてのコントラスト学習と情報最大化損失を具体化する,新しいドメイン適応手法を提案する。
IEMOCAP や MSP-IMPROV のような確立されたデータセットの実験により得られた実験結果から,提案モデルが企業間シナリオにおけるSERの最先端性能を達成することを示す。
関連論文リスト
- Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - ViDA: Homeostatic Visual Domain Adapter for Continual Test Time
Adaptation [49.84571101331491]
目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、CTTAタスクを提案する。
我々はCTTAのためのビジュアルドメインアダプタ(ViDA)を提案し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。
提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-06-07T11:18:53Z) - Task-Aware Asynchronous Multi-Task Model with Class Incremental
Contrastive Learning for Surgical Scene Understanding [17.80234074699157]
手術報告生成とツール-タスク間相互作用予測のためのマルチタスク学習モデルを提案する。
共有特徴抽出器のモデル形式,キャプション用メッシュ・トランスフォーマブランチ,ツールとタスク間の相互作用予測のためのグラフアテンションブランチ。
タスク認識型非同期MTL最適化手法を組み込んで,共有重みを微調整し,両タスクを最適に収束させる。
論文 参考訳(メタデータ) (2022-11-28T14:08:48Z) - Effective Adaptation in Multi-Task Co-Training for Unified Autonomous
Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。
彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。
汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文 参考訳(メタデータ) (2022-09-19T12:15:31Z) - Domain Adaptation with Pre-trained Transformers for Query Focused
Abstractive Text Summarization [18.791701342934605]
Query Focused Text Summarization (QFTS)タスクは、与えられたクエリに基づいてテキストドキュメントの要約を生成するシステムを構築することを目的としている。
この課題に対処する上で重要な課題は、要約モデルをトレーニングするための大きなラベル付きデータの欠如である。
本稿では,一連のドメイン適応手法を探求することによって,この問題に対処する。
論文 参考訳(メタデータ) (2021-12-22T05:34:56Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳(メタデータ) (2021-12-02T18:59:50Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2021-06-04T20:15:34Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z) - Meta Adaptation using Importance Weighted Demonstrations [19.37671674146514]
エージェントが新しいタスクを推測することが困難である場合も少なくない。
本稿では,特定のタスクの集合に関する事前知識を活用することで,関連するタスクを一般化する新しいアルゴリズムを提案する。
環境タスクの多様性からロボットを訓練し、目に見えない環境に適応できる実験を行った。
論文 参考訳(メタデータ) (2019-11-23T07:22:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。