論文の概要: MT-GBM: A Multi-Task Gradient Boosting Machine with Shared Decision Trees

• arxiv url: http://arxiv.org/abs/2201.06239v1
• Date: Mon, 17 Jan 2022 06:43:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-21 05:46:43.799119
• Title: MT-GBM: A Multi-Task Gradient Boosting Machine with Shared Decision Trees
• Title（参考訳）: MT-GBM:共有決定木を有するマルチタスク勾配昇降機
• Authors: ZhenZhe Ying, Zhuoer Xu, Weiqiang Wang, Changhua Meng
• Abstract要約: マルチタスク学習のためのGBDT方式であるマルチタスク・グラディエント・ブースティング・マシン(MT-GBM)を提案する。 MT-GBMがメインタスクの性能を大幅に向上することを示す実験を行った。
• 参考スコア（独自算出の注目度）: 15.599296461516982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success of deep learning in computer vision and natural language processing, Gradient Boosted Decision Tree (GBDT) is yet one of the most powerful tools for applications with tabular data such as e-commerce and FinTech. However, applying GBDT to multi-task learning is still a challenge. Unlike deep models that can jointly learn a shared latent representation across multiple tasks, GBDT can hardly learn a shared tree structure. In this paper, we propose Multi-task Gradient Boosting Machine (MT-GBM), a GBDT-based method for multi-task learning. The MT-GBM can find the shared tree structures and split branches according to multi-task losses. First, it assigns multiple outputs to each leaf node. Next, it computes the gradient corresponding to each output (task). Then, we also propose an algorithm to combine the gradients of all tasks and update the tree. Finally, we apply MT-GBM to LightGBM. Experiments show that our MT-GBM improves the performance of the main task significantly, which means the proposed MT-GBM is efficient and effective.
• Abstract（参考訳）: コンピュータビジョンと自然言語処理におけるディープラーニングの成功にもかかわらず、Gradient Boosted Decision Tree(GBDT)は、EコマースやFinTechといった表形式のデータを扱うアプリケーションにとって、最も強力なツールのひとつだ。 しかし、マルチタスク学習にGBDTを適用することは依然として課題である。 複数のタスク間で共有潜在表現を共同で学習できるディープモデルとは異なり、GBDTは共有ツリー構造をほとんど学べない。 本稿では,マルチタスク学習のためのgbdtベース手法であるマルチタスク勾配ブースティングマシン(mt-gbm)を提案する。 MT-GBMは、マルチタスクの損失に応じて、共有ツリー構造と分割ブランチを見つけることができる。 まず、各葉ノードに複数の出力を割り当てる。 次に、各出力(タスク)に対応する勾配を計算する。 また,全てのタスクの勾配を合成し,木を更新するアルゴリズムを提案する。 最後に、MT-GBMをLightGBMに適用する。 実験により, MT-GBMは主課題の性能を著しく向上し, 提案したMT-GBMは効率的かつ効果的であることがわかった。

関連論文リスト

• Cross-Task Affinity Learning for Multitask Dense Scene Predictions [5.939164722752263]
  マルチタスク学習(MTL)は,複数のタスクを同時に予測する能力で注目されている。 マルチタスクネットワークにおけるタスク改善を強化する軽量フレームワークであるクロスタスク親和性学習(CTAL)モジュールを紹介する。 以上の結果から,CNNとトランスフォーマーの両バックボーンに対して,シングルタスク学習よりもはるかに少ないパラメータを用いて,最先端のMTL性能を実証した。
  論文  参考訳（メタデータ） (2024-01-20T05:31:47Z)
• Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model [83.85856356798531]
  VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。 また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T18:53:01Z)
• Tree Prompting: Efficient Task Adaptation without Fine-Tuning [112.71020326388029]
  Tree Promptingはプロンプトの決定ツリーを構築し、複数のLMコールをリンクしてタスクを解決する。 分類データセットの実験により、Tree Promptingは競合するメソッドよりも精度が向上し、微調整と競合することが示された。
  論文  参考訳（メタデータ） (2023-10-21T15:18:22Z)
• Knowledge Assembly: Semi-Supervised Multi-Task Learning from Multiple Datasets with Disjoint Labels [8.816979799419107]
  マルチタスク学習(MTL)は適切な手法であるが、通常はすべてのタスクにラベル付けされたデータセットを必要とする。 MTLフレームワークのタスクのいくつかのみにラベル付けされたデータセットを活用できる手法を提案する。 我々の研究であるKnowledge Assembly(KA)は、ラベルのないデータを半教師付きで活用することで、不連続なデータセットから複数のタスクを学習する。
  論文  参考訳（メタデータ） (2023-06-15T04:05:03Z)
• Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification [68.19713459228369]
  我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。 i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。 MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
  論文  参考訳（メタデータ） (2023-05-21T11:20:49Z)
• GradTree: Learning Axis-Aligned Decision Trees with Gradient Descent [10.27211960475599]
  決定木(DT)は多くの機械学習タスクで一般的に使われている。 本稿では,greedyアルゴリズムを用いた新しいDT学習手法を提案する。 直進演算子と直進演算子を高密度DT表現とし,すべての木パラメータを協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-05T13:24:35Z)
• Provable Pathways: Learning Multiple Tasks over Multiple Paths [31.43753806123382]
  複数の経路上の複数のタスクを学習する経験的リスク最小化問題に対する新しい一般化境界を開発する。 同時に、新しい下流タスクに適応する際のマルチパス表現の利点を形式化する。
  論文  参考訳（メタデータ） (2023-03-08T02:25:28Z)
• DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
  DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。 実験の結果,様々な設定や設定において優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-09T17:57:46Z)
• Meta-Learning with MAML on Trees [2.6650151787980336]
  本研究は,階層的タスク関係を利用して,モデルメタ学習モデルであるMAMLを拡張した。 提案アルゴリズムであるTreeMAMLは,各タスクにいくつかのステップでモデルを適応させるが,適応は階層木構造に従う。 ここでは,タスク構造が階層的である場合,TreeMAMLはMAMLよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-08T11:58:48Z)
• Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
  マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。 我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
  論文  参考訳（メタデータ） (2020-04-28T09:15:50Z)
• MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
  特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。 本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
  論文  参考訳（メタデータ） (2020-01-19T21:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。