論文の概要: Task Selection and Assignment for Multi-modal Multi-task Dialogue Act
Classification with Non-stationary Multi-armed Bandits
- arxiv url: http://arxiv.org/abs/2309.09832v1
- Date: Mon, 18 Sep 2023 14:51:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 12:49:23.918688
- Title: Task Selection and Assignment for Multi-modal Multi-task Dialogue Act
Classification with Non-stationary Multi-armed Bandits
- Title（参考訳）: 非定常マルチアームバンドを用いたマルチモーダルマルチタスク対話法分類のためのタスク選択とアサインメント
- Authors: Xiangheng He, Junjie Chen, Bj\"orn W. Schuller
- Abstract要約: 本稿では,マルチモーダル・マルチタスク対話行動分類タスクについて検討する。
非定常的マルチアームバンディット(MAB)に基づくタスクの選択と割り当て手法を提案する。
提案手法は,p値0.05の単一タスクベースラインとマルチタスクベースラインに対して,UARとF1の点で有意に優れている。
- 参考スコア（独自算出の注目度）: 11.682678945754837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning (MTL) aims to improve the performance of a primary task
by jointly learning with related auxiliary tasks. Traditional MTL methods
select tasks randomly during training. However, both previous studies and our
results suggest that such the random selection of tasks may not be helpful, and
can even be harmful to performance. Therefore, new strategies for task
selection and assignment in MTL need to be explored. This paper studies the
multi-modal, multi-task dialogue act classification task, and proposes a method
for selecting and assigning tasks based on non-stationary multi-armed bandits
(MAB) with discounted Thompson Sampling (TS) using Gaussian priors. Our
experimental results show that in different training stages, different tasks
have different utility. Our proposed method can effectively identify the task
utility, actively avoid useless or harmful tasks, and realise the task
assignment during training. Our proposed method is significantly superior in
terms of UAR and F1 to the single-task and multi-task baselines with p-values <
0.05. Further analysis of experiments indicates that for the dataset with the
data imbalance problem, our proposed method has significantly higher stability
and can obtain consistent and decent performance for minority classes. Our
proposed method is superior to the current state-of-the-art model.
- Abstract（参考訳）: マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。
従来のMTLメソッドは、トレーニング中にランダムにタスクを選択する。
しかし,本研究の結果から,このようなタスクのランダムな選択は役に立たず,パフォーマンスに有害である可能性が示唆された。
したがって、MTLにおけるタスクの選択と割り当てのための新しい戦略を検討する必要がある。
本稿では,マルチモーダル・マルチタスク対話行動分類タスクについて検討し,ガウス前処理を用いて非定常的マルチアームバンディット(MAB)に基づくタスクの選択と割り当てを行う手法を提案する。
実験の結果、異なるトレーニング段階において、異なるタスクが異なるユーティリティを持つことが示された。
提案手法は,タスクユーティリティを効果的に識別し,無駄なタスクや有害なタスクを積極的に回避し,トレーニング中のタスク割り当てを実現する。
提案手法は,p値0.05の単一タスクベースラインとマルチタスクベースラインに対して,UARとF1の点で有意に優れている。
実験のさらなる分析により,データ不均衡問題のあるデータセットでは,提案手法は安定性が著しく向上し,マイノリティクラスで一貫性と適度な性能が得られることが示された。
提案手法は現在の最先端モデルよりも優れている。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳（メタデータ） (2023-11-01T04:40:05Z) - Identification of Negative Transfers in Multitask Learning Using
Surrogate Models [29.882265735630046]
マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。
マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。
本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
論文 参考訳（メタデータ） (2023-03-25T23:16:11Z) - Task Aware Feature Extraction Framework for Sequential Dependence
Multi-Task Learning [1.0765359420035392]
我々は厳密な数学的観点から逐次依存型MLLを解析する。
逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-06T13:12:59Z) - Multi-task Active Learning for Pre-trained Transformer-based Models [22.228551277598804]
複数のタスクをひとつのモデルで共同で学習するマルチタスク学習により、NLPモデルは複数のアノテーションから情報を共有することができる。
このテクニックでは、コストがかかり、面倒な複数のアノテーションスキームで同じテキストに注釈を付ける必要がある。
アクティブラーニング(AL)は、ラベルなし例を反復的に選択することで、アノテーションプロセスの最適化を実証している。
論文 参考訳（メタデータ） (2022-08-10T14:54:13Z) - Selecting task with optimal transport self-supervised learning for
few-shot classification [15.088213168796772]
Few-Shot分類は、トレーニングプロセスで利用可能なサンプルはわずかである、という問題を解決することを目的としている。
本稿では,Few-Shot 学習のための類似タスクを選択して学習セットを構築するために,OTTS (Optimal Transport Task Selecting) という新しいタスク選択アルゴリズムを提案する。
OTTSは最適な輸送距離を計算してタスク類似度を測定し、自己監督戦略を通じてモデルトレーニングを完了させる。
論文 参考訳（メタデータ） (2022-04-01T08:45:29Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。
マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。
本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
論文 参考訳（メタデータ） (2021-09-10T02:01:43Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。