論文の概要: Exceeding the Limits of Visual-Linguistic Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2107.13054v1
• Date: Tue, 27 Jul 2021 19:42:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 01:43:16.790209
• Title: Exceeding the Limits of Visual-Linguistic Multi-Task Learning
• Title（参考訳）: 視覚言語型マルチタスク学習の限界を超える
• Authors: Cameron R. Wolfe and Keld T. Lundgaard
• Abstract要約: 同様に構造化された入力データを共有する1000のユニークな分類タスクを構築した。 これらの分類タスクは、異なるeコマースウェブサイトの製品階層の学習に重点を置いている。 マルチタスク学習(MTL)を用いて,これらの課題を一斉に解決する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By leveraging large amounts of product data collected across hundreds of live e-commerce websites, we construct 1000 unique classification tasks that share similarly-structured input data, comprised of both text and images. These classification tasks focus on learning the product hierarchy of different e-commerce websites, causing many of them to be correlated. Adopting a multi-modal transformer model, we solve these tasks in unison using multi-task learning (MTL). Extensive experiments are presented over an initial 100-task dataset to reveal best practices for "large-scale MTL" (i.e., MTL with more than 100 tasks). From these experiments, a final, unified methodology is derived, which is composed of both best practices and new proposals such as DyPa, a simple heuristic for automatically allocating task-specific parameters to tasks that could benefit from extra capacity. Using our large-scale MTL methodology, we successfully train a single model across all 1000 tasks in our dataset while using minimal task specific parameters, thereby showing that it is possible to extend several orders of magnitude beyond current efforts in MTL.
• Abstract（参考訳）: 数百のeコマースWebサイトで収集された大量の製品データを活用することで、テキストと画像の両方からなる同様の構造化された入力データを共有する1000のユニークな分類タスクを構築します。 これらの分類タスクは、異なるeコマースウェブサイトの製品階層を学習することに集中しており、その多くが相関関係にある。 マルチモーダルトランスフォーマーモデルを採用し,マルチタスク学習 (mtl) を用いてタスクを統一的に解く。 大規模なMTL(100以上のタスクを持つMTL)のベストプラクティスを明らかにするため、最初の100タスクデータセット上で大規模な実験が行われる。 これらの実験から、最終的な統一的な方法論が導出され、ベストプラクティスとdypaのような新しい提案の両方で構成され、余分なキャパシティの恩恵を受けうるタスクにタスク固有のパラメータを自動的に割り当てるシンプルなヒューリスティックである。 大規模MTL手法を用いて,タスク固有パラメータを最小化しながら,データセット内の1000タスクすべてにまたがる単一モデルをトレーニングし,MTLの現在の取り組みを超えて数桁のオーダーを拡張可能であることを示す。

関連論文リスト

• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• MmAP : Multi-modal Alignment Prompt for Cross-domain Multi-task Learning [29.88567810099265]
  マルチタスク学習は複数の相関タスクを同時に訓練するように設計されている。 この課題に対処するために、デコーダフリーの視覚言語モデルCLIPを統合する。 CLIPのためのマルチモーダルアライメント・プロンプト(MmAP)を提案する。
  論文  参考訳（メタデータ） (2023-12-14T03:33:02Z)
• STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map [4.263847576433289]
  MTL(Multi-Task Learning)は、従来のSTL(Single-Task Learning)よりも性能が向上し、普及した強力な技術である。 しかし、MTLは指数的なタスクグルーピング数が多いため、しばしば困難である。 本稿では,これらの課題に対処し,課題分類のためのスケーラブルでモジュール化されたソリューションを提供する新しいデータ駆動手法を提案する。
  論文  参考訳（メタデータ） (2023-07-07T03:54:26Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Knowledge Assembly: Semi-Supervised Multi-Task Learning from Multiple Datasets with Disjoint Labels [8.816979799419107]
  マルチタスク学習(MTL)は適切な手法であるが、通常はすべてのタスクにラベル付けされたデータセットを必要とする。 MTLフレームワークのタスクのいくつかのみにラベル付けされたデータセットを活用できる手法を提案する。 我々の研究であるKnowledge Assembly(KA)は、ラベルのないデータを半教師付きで活用することで、不連続なデータセットから複数のタスクを学習する。
  論文  参考訳（メタデータ） (2023-06-15T04:05:03Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Task Aware Feature Extraction Framework for Sequential Dependence Multi-Task Learning [1.0765359420035392]
  我々は厳密な数学的観点から逐次依存型MLLを解析する。 逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-06T13:12:59Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• When to Use Multi-Task Learning vs Intermediate Fine-Tuning for Pre-Trained Encoder Transfer Learning [15.39115079099451]
  近年,自然言語処理における伝達学習(TL)への関心が高まっている。 微調整中に複数の教師付きデータセットを使用するための3つの主要な戦略が登場した。 GLUEデータセットの包括的解析において,3つのTL手法を比較した。
  論文  参考訳（メタデータ） (2022-05-17T06:48:45Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Using a thousand optimization tasks to learn hyperparameter search strategies [53.318615663332274]
  本稿では、ニューラルネットワークのトレーニングと評価に使用するニューラルネットワークのデータセットであるTaskSetを紹介する。 TaskSetはそのサイズと多様性に特有で、完全な接続または畳み込みネットワークによるイメージ分類から変分オートエンコーダ、さまざまなデータセット上の非ボリューム保存フローまで、数千以上のタスクを含んでいる。
  論文  参考訳（メタデータ） (2020-02-27T02:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。