論文の概要: When Does Aggregating Multiple Skills with Multi-Task Learning Work? A Case Study in Financial NLP

• arxiv url: http://arxiv.org/abs/2305.14007v1
• Date: Tue, 23 May 2023 12:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 16:29:29.071073
• Title: When Does Aggregating Multiple Skills with Multi-Task Learning Work? A Case Study in Financial NLP
• Title（参考訳）: マルチタスク学習はいつ複数のスキルを集約するか? 金融nlpにおけるケーススタディ
• Authors: Jingwei Ni, Zhijing Jin, Qian Wang, Mrinmaya Sachan, Markus Leippold
• Abstract要約: マルチタスク学習(MTL)は、複数のタスクからデータと知識を活用することにより、よりよいモデルを実現することを目的としている。 以上の結果から,MTLの成功の鍵は,スキル多様性,タスク間の関連性,集約サイズと共有能力の選択にあることが示唆された。
• 参考スコア（独自算出の注目度）: 22.6364117325639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-task learning (MTL) aims at achieving a better model by leveraging data and knowledge from multiple tasks. However, MTL does not always work -- sometimes negative transfer occurs between tasks, especially when aggregating loosely related skills, leaving it an open question when MTL works. Previous studies show that MTL performance can be improved by algorithmic tricks. However, what tasks and skills should be included is less well explored. In this work, we conduct a case study in Financial NLP where multiple datasets exist for skills relevant to the domain, such as numeric reasoning and sentiment analysis. Due to the task difficulty and data scarcity in the Financial NLP domain, we explore when aggregating such diverse skills from multiple datasets with MTL can work. Our findings suggest that the key to MTL success lies in skill diversity, relatedness between tasks, and choice of aggregation size and shared capacity. Specifically, MTL works well when tasks are diverse but related, and when the size of the task aggregation and the shared capacity of the model are balanced to avoid overwhelming certain tasks.
• Abstract（参考訳）: マルチタスク学習(MTL)は、複数のタスクからデータと知識を活用することにより、よりよいモデルを実現することを目的としている。 しかし、MTLは常に機能しない - 特にゆるやかな関連スキルを集約する場合は、タスク間の負の移動が発生することがある。 従来の研究では、MTLの性能はアルゴリズムのトリックによって改善できることが示された。 しかし、どのタスクやスキルを含めるべきかは十分に検討されていない。 本研究では、数値推論や感情分析など、ドメインに関連するスキルについて複数のデータセットが存在する金融nlpのケーススタディを行う。 金融nlpドメインにおけるタスクの難易度とデータ不足のため、mtlで複数のデータセットからこのような多様なスキルを集約することで、効果が期待できる。 以上の結果から,MTLの成功の鍵は,スキル多様性,タスク間の関連性,集約サイズと共有能力の選択にあることが示唆された。 具体的には、タスクが多様だが関連性がある場合や、タスクアグリゲーションのサイズとモデルの共有能力のバランスが取れた場合には、MTLはうまく機能する。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Task Grouping for Automated Multi-Task Machine Learning via Task Affinity Prediction [7.975047833725489]
  マルチタスク学習(MTL)モデルはシングルタスク学習(STL)モデルよりもはるかに精度が高い。 本稿では,タスクグループ化のための新しい自動化手法を提案する。 我々は、MTLを用いてタスク群を同時に学習すべきか、STLを用いて独立して学習すべきかを予測するのに役立つ固有のタスク特徴とSTLの特徴を識別する。
  論文  参考訳（メタデータ） (2023-10-24T23:29:46Z)
• "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint Learning [74.14961250042629]
  MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。 共同学習におけるタスク親和性の推定は重要な取り組みである。 最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。 しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
  論文  参考訳（メタデータ） (2023-01-07T15:16:35Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• Improving Multi-Task Generalization via Regularizing Spurious Correlation [41.93623986464747]
  マルチタスク学習(MTL)は知識共有による一般化性能向上のための強力な学習パラダイムである。 本稿では,多タスクの知識を表現するフレームワークを提案し,各タスクにどのモジュールが因果関係であるかを学習する。 MTLモデルの性能をMulti-MNIST、MovieLens、Taskonomy、CityScape、NYUv2で平均5.5%向上させることができる。
  論文  参考訳（メタデータ） (2022-05-19T18:31:54Z)
• When to Use Multi-Task Learning vs Intermediate Fine-Tuning for Pre-Trained Encoder Transfer Learning [15.39115079099451]
  近年,自然言語処理における伝達学習(TL)への関心が高まっている。 微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。 GLUEデータセットの包括的解析において,3つのTL手法を比較した。
  論文  参考訳（メタデータ） (2022-05-17T06:48:45Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning [0.0]
  マルチタスク学習(MTL)は、シングルタスク学習(STL)と比較して全体的なタスクパフォーマンスを向上させることができるが、負の転送(NT)を隠すことができる。 非対称マルチタスク特徴学習(AMTFL)は、損失値の高いタスクが他のタスクを学習するための特徴表現に与える影響を小さくすることで、この問題に対処しようとするアプローチである。 2つのデータセット (画像認識と薬理ゲノミクス) におけるntの例を示し, 課題間の相対的信頼度を捉え, タスク損失の重み付けを行うことにより, この課題に挑戦する。
  論文  参考訳（メタデータ） (2020-12-17T13:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。