論文の概要: Safe Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2111.10601v1
• Date: Sat, 20 Nov 2021 14:21:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 16:08:31.311569
• Title: Safe Multi-Task Learning
• Title（参考訳）: 安全なマルチタスク学習
• Authors: Pengxin Guo, Feiyang Ye, and Yu Zhang
• Abstract要約: 我々は,すべてのタスク,プライベートエンコーダ,ゲート,プライベートデコーダによって共有される公開エンコーダで構成される,安全なマルチタスク学習(SMTL)モデルを提案する。 推論段階での保存コストを低減するため,公開エンコーダと対応するプライベートエンコーダのいずれかを選択することができるSMTLのライトバージョンが提案されている。
• 参考スコア（独自算出の注目度）: 3.508126539399186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, Multi-Task Learning (MTL) attracts much attention due to its good performance in many applications. However, many existing MTL models cannot guarantee that its performance is no worse than its single-task counterpart on each task. Though this phenomenon has been empirically observed by some works, little work aims to handle the resulting problem, which is formally defined as negative sharing in this paper. To achieve safe multi-task learning where no \textit{negative sharing} occurs, we propose a Safe Multi-Task Learning (SMTL) model, which consists of a public encoder shared by all the tasks, private encoders, gates, and private decoders. Specifically, each task has a private encoder, a gate, and a private decoder, where the gate is to learn how to combine the private encoder and public encoder for the downstream private decoder. To reduce the storage cost during the inference stage, a lite version of SMTL is proposed to allow the gate to choose either the public encoder or the corresponding private encoder. Moreover, we propose a variant of SMTL to place all the gates after decoders of all the tasks. Experiments on several benchmark datasets demonstrate the effectiveness of the proposed methods.
• Abstract（参考訳）: 近年,Multi-Task Learning (MTL) が注目されている。 しかし、既存のMTLモデルでは、各タスクにおけるシングルタスクモデルよりもパフォーマンスが悪くないことを保証することはできない。 この現象はいくつかの研究で実証的に観察されているが,本論文では負の共有として正式に定義された結果の問題に対処することを目的とした研究はほとんどない。 そこで我々は,すべてのタスク,プライベートエンコーダ,ゲート,プライベートデコーダによって共有される公開エンコーダからなる,安全なマルチタスク学習(SMTL)モデルを提案する。 具体的には、各タスクにはプライベートエンコーダ、ゲート、プライベートデコーダがあり、ゲートは下流のプライベートデコーダに対してプライベートエンコーダとパブリックエンコーダを組み合わせる方法を学ぶ。 推論段階での保存コストを低減するため,公開エンコーダと対応するプライベートエンコーダのいずれかを選択することができるSMTLのライトバージョンが提案されている。 さらに,全てのタスクのデコーダの後に全てのゲートを配置するSMTLの変種を提案する。 いくつかのベンチマークデータセットの実験では,提案手法の有効性が示されている。

関連論文リスト

• MFTCoder: Boosting Code LLMs with Multitask Fine-Tuning [28.12788291168137]
  複数のタスクを同時に並列に微調整できるマルチタスクファインチューニングフレームワーク MFTcoder を提案する。 実験により、我々のマルチタスクファインチューニングアプローチは、単一タスクにおける個々のファインチューニングと、混合タスクにおけるファインチューニングの両方より優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-04T02:22:40Z)
• Deformable Mixer Transformer with Gating for Multi-Task Learning of Dense Prediction [126.34551436845133]
  CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。 本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-10T17:37:49Z)
• MetaMorphosis: Task-oriented Privacy Cognizant Feature Generation for Multi-task Learning [6.056197449765416]
  本稿ではMetaMorphosisと呼ばれる,深層学習に基づくプライバシー認識機能生成プロセスを提案する。 本稿では,MetaMorphosisが,プライバシー要件を保証し,近年の敵対的学習や普遍的特徴生成方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-13T01:59:07Z)
• A Study of Autoregressive Decoders for Multi-Tasking in Computer Vision [93.90545426665999]
  マルチモーダルコンピュータビジョンにおけるマルチタスク学習のための自動回帰デコーダについて詳しく検討する。 鍵となる発見は、凍結した事前訓練されたエンコーダの上で学んだ小さなデコーダが驚くほどうまく機能していることである。 これはデコーダに自然言語で事前訓練された視覚モデルと対話するように教えるものであると見なすことができる。
  論文  参考訳（メタデータ） (2023-03-30T13:42:58Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• LAVENDER: Unifying Video-Language Understanding as Masked Language Modeling [102.42424022921243]
  Masked Language Modeling (MLM) は、すべての事前学習および下流タスクの共通インターフェースとして使用される。 実験により、この統合フレームワークは14のVidLベンチマークで競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-14T20:43:25Z)
• Joint Multiple Intent Detection and Slot Filling via Self-distillation [29.17761742391222]
  Intent Detection と slot fill は、自然言語理解(NLU)における2つの主要なタスクであり、発話からユーザのニーズを特定する。 これまでのほとんどの研究は、各発話が1つの意図にしか対応していないと仮定しており、多くの場合、ユーザーが発する発話が複数の意図を含む可能性があるという事実を無視している。 マルチインテリジェントNLUのための新しい自己蒸留結合型NLUモデル(SDJN)を提案する。
  論文  参考訳（メタデータ） (2021-08-18T08:45:03Z)
• MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection [76.80153360498797]
  タスク固有の識別表現を効率的に洗練するためのマルチインスタンス自己学習フレームワーク(MIST)を開発した。 mistは1)スパース連続サンプリング戦略を適用し,より信頼性の高いクリップレベル擬似ラベルを生成するマルチインスタンス擬似ラベル生成器,2)自己誘導型注意強調特徴エンコーダで構成される。 本手法は,上海技術におけるフレームレベルのAUC 94.83%の取得において,既存の教師付きおよび弱教師付き手法と同等あるいはそれ以上に機能する。
  論文  参考訳（メタデータ） (2021-04-04T15:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。