論文の概要: Curriculum Modeling the Dependence among Targets with Multi-task
Learning for Financial Marketing
- arxiv url: http://arxiv.org/abs/2305.01514v1
- Date: Tue, 25 Apr 2023 07:55:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-07 16:03:46.121647
- Title: Curriculum Modeling the Dependence among Targets with Multi-task
Learning for Financial Marketing
- Title（参考訳）: 金融マーケティングのためのマルチタスク学習によるターゲット間の依存性のモデル化
- Authors: Yunpeng Weng, Xing Tang, Liang Chen, Xiuqiang He
- Abstract要約: 本稿では,複数順序依存型タスク学習のための事前情報統合モデル(textbfPIMM)を提案する。
PIMは、トレーニング中に下流タスクに転送するソフトサンプリング戦略により、真のラベル情報または先行タスク予測をランダムに選択する。
公開データセットと製品データセットのオフライン実験結果は、PIMMが最先端のベースラインを上回っていることを確認する。
- 参考スコア（独自算出の注目度）: 26.80709680959278
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-task learning for various real-world applications usually involves
tasks with logical sequential dependence. For example, in online marketing, the
cascade behavior pattern of $impression \rightarrow click \rightarrow
conversion$ is usually modeled as multiple tasks in a multi-task manner, where
the sequential dependence between tasks is simply connected with an explicitly
defined function or implicitly transferred information in current works. These
methods alleviate the data sparsity problem for long-path sequential tasks as
the positive feedback becomes sparser along with the task sequence. However,
the error accumulation and negative transfer will be a severe problem for
downstream tasks. Especially, at the beginning stage of training, the
optimization for parameters of former tasks is not converged yet, and thus the
information transferred to downstream tasks is negative. In this paper, we
propose a prior information merged model (\textbf{PIMM}), which explicitly
models the logical dependence among tasks with a novel prior information merged
(\textbf{PIM}) module for multiple sequential dependence task learning in a
curriculum manner. Specifically, the PIM randomly selects the true label
information or the prior task prediction with a soft sampling strategy to
transfer to the downstream task during the training. Following an
easy-to-difficult curriculum paradigm, we dynamically adjust the sampling
probability to ensure that the downstream task will get the effective
information along with the training. The offline experimental results on both
public and product datasets verify that PIMM outperforms state-of-the-art
baselines. Moreover, we deploy the PIMM in a large-scale FinTech platform, and
the online experiments also demonstrate the effectiveness of PIMM.
- Abstract（参考訳）: 様々な実世界のアプリケーションに対するマルチタスク学習は通常、論理的逐次依存を伴うタスクを伴う。
例えば、オンラインマーケティングでは、$impression \rightarrow click \rightarrow conversion$のカスケード動作パターンは、通常マルチタスク方式で複数のタスクとしてモデル化される。
これらの手法は、タスクシーケンスとともに正のフィードバックがスペーサになるにつれて、長いパスシーケンシャルなタスクに対するデータスペーサリティ問題を緩和する。
しかし、下流タスクではエラーの蓄積と負の転送が深刻な問題となる。
特に、トレーニングの初期段階では、以前のタスクのパラメータの最適化はまだ収束しておらず、ダウンストリームタスクに転送される情報は否定的である。
本稿では,複数の逐次的依存タスク学習のための新しい事前情報マージ(\textbf{PIMM})モジュールを用いて,タスク間の論理的依存を明示的にモデル化する事前情報マージモデル(\textbf{PIMM})を提案する。
具体的には、PIMは、トレーニング中に下流タスクに転送するためのソフトサンプリング戦略を用いて、真のラベル情報または先行タスク予測をランダムに選択する。
難易度の高いカリキュラムパラダイムに従って,サンプリング確率を動的に調整することで,下流タスクがトレーニングとともに効果的な情報を取得することを保証する。
公開データセットと製品データセットのオフライン実験結果は、PIMMが最先端のベースラインを上回っていることを確認する。
さらに,大規模なFinTechプラットフォームにPIMMをデプロイし,オンライン実験によりPIMMの有効性を実証した。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳（メタデータ） (2023-10-04T04:26:33Z) - Task Aware Feature Extraction Framework for Sequential Dependence
Multi-Task Learning [1.0765359420035392]
我々は厳密な数学的観点から逐次依存型MLLを解析する。
逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-06T13:12:59Z) - TaskMix: Data Augmentation for Meta-Learning of Spoken Intent
Understanding [0.0]
本稿では,タスクの多様性が低い場合のオーバーフィッティングという問題を,最先端のデータ拡張手法により悪化させることを示す。
本稿では,既存のタスクを線形に補間することで,新しいタスクを合成する簡単なTaskMixを提案する。
TaskMixはベースラインを上回り、タスクの多様性が低い場合の過度な適合を軽減し、高い場合でも性能が低下しないことを示す。
論文 参考訳（メタデータ） (2022-09-26T00:37:40Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳（メタデータ） (2022-06-04T10:08:50Z) - A Markov Decision Process Approach to Active Meta Learning [24.50189361694407]
教師付き学習では、データが特定のタスクに関連付けられていると仮定して、与えられたデータセットに1つの統計モデルを適用する。
メタラーニングでは、データは多数のタスクと関連付けられており、同時に全てのタスクでうまく機能するモデルを模索する。
論文 参考訳（メタデータ） (2020-09-10T15:45:34Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。