論文の概要: Optimizing Multi-Task Learning for Enhanced Performance in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.06249v1
• Date: Mon, 09 Dec 2024 06:47:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:57:45.415614
• Title: Optimizing Multi-Task Learning for Enhanced Performance in Large Language Models
• Title（参考訳）: 大規模言語モデルの性能向上のためのマルチタスク学習の最適化
• Authors: Zhen Qi, Jiajing Chen, Shuo Wang, Bingying Liu, Hongye Zheng, Chihang Wang,
• Abstract要約: 提案したマルチタスク学習モデルは、テキスト分類精度と要約生成のROUGE値の観点から、他の比較モデルよりも優れている。 マルチタスク学習に基づくフレームワークは、分野横断の実践的応用において、より大きな役割を果たすことが期待されている。
• 参考スコア（独自算出の注目度）: 5.930799903736776
• License:
• Abstract: This study aims to explore the performance improvement method of large language models based on GPT-4 under the multi-task learning framework and conducts experiments on two tasks: text classification and automatic summary generation. Through the combined design of shared feature extractors and task-specific modules, we achieve knowledge-sharing and optimization of multiple tasks in the same model. The experiment uses multiple subtasks of the GLUE dataset to compare the performance of the multi-task model with the single-task GPT-4, the multi-task version of GPT-3, the BERT basic model, and the classic Bi-LSTM with Attention model. The results show that the proposed multi-task learning model outperforms other comparison models in terms of text classification accuracy and ROUGE value of summary generation, demonstrating the advantages of multi-task learning in improving model generalization ability and collaborative learning between tasks. The model maintains a stable loss convergence rate during training, showing good learning efficiency and adaptability to the test set. This study verifies the applicability of the multi-task learning framework in large language models, especially in improving the model's ability to balance different tasks. In the future, with the combination of large language models and multimodal data and the application of dynamic task adjustment technology, the framework based on multi-task learning is expected to play a greater role in practical applications across fields and provide new ideas for the development of general artificial intelligence.
• Abstract（参考訳）: 本研究では,GPT-4に基づく大規模言語モデルの性能改善手法をマルチタスク学習フレームワークで検討し,テキスト分類と自動要約生成という2つのタスクについて実験を行う。 共有特徴抽出器とタスク固有モジュールの組み合わせ設計により、同一モデルにおける複数のタスクの知識共有と最適化を実現する。 この実験では、GLUEデータセットの複数のサブタスクを使用して、マルチタスクモデルとシングルタスクのGPT-4、GPT-3のマルチタスクバージョン、BERT基本モデル、古典的なBi-LSTM with Attentionモデルと比較した。 提案したマルチタスク学習モデルは,テキスト分類精度と要約生成のROUGE値において,他の比較モデルよりも優れており,モデル一般化能力の向上とタスク間の協調学習におけるマルチタスク学習の利点を実証している。 モデルは、トレーニング中に安定した損失収束率を維持し、優れた学習効率とテストセットへの適応性を示す。 本研究では,大規模言語モデルにおけるマルチタスク学習フレームワークの適用性を検証する。 将来、大規模言語モデルとマルチモーダルデータの組み合わせと動的タスク調整技術の応用により、多タスク学習に基づくフレームワークは、分野横断の実践的応用において大きな役割を果たすことが期待され、汎用人工知能の開発に新たなアイデアが提供される。

関連論文リスト

• Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment [58.94611347128066]
  タスク選好最適化(TPO)は、典型的なきめ細かい視覚的タスクから派生した微分可能なタスク選好を利用する新しい手法である。 トレーニング中にリッチなビジュアルラベルを活用することで、TPOはMLLMのマルチモーダル能力とタスク固有のパフォーマンスを大幅に向上させる。 VideoChatとLLaVAによるこのアプローチのインスタンス化は、ベースラインモデルと比較して、総合的に14.6%のマルチモーダル性能の向上を示している。
  論文  参考訳（メタデータ） (2024-12-26T18:56:05Z)
• LIMT: Language-Informed Multi-Task Visual World Models [6.128332310539627]
  マルチタスク強化学習は、サンプルの複雑さの増加と、潜在的に矛盾するタスクの目的のため、非常に難しい。 本稿では,事前学習した言語モデルを利用して意味のあるタスク表現を抽出し,マルチタスクのビジュアルワールドモデルを学習する手法を提案する。 本結果は,世界モデルにおける言語駆動型タスク表現の利点と,より一般的なモデル自由パラダイムに対するモデルベースマルチタスク学習の明確な利点を強調した。
  論文  参考訳（メタデータ） (2024-07-18T12:40:58Z)
• Generative Multimodal Models are In-Context Learners [60.50927925426832]
  我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。 Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
  論文  参考訳（メタデータ） (2023-12-20T18:59:58Z)
• Making Small Language Models Better Multi-task Learners with Mixture-of-Task-Adapters [13.6682552098234]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクにおいて、驚くべきゼロショット学習性能を達成した。 マルチタスク学習者に対して,小型言語モデルに基づくmixTure-of-task-adapterを効果的に構築するシステムであるALTERを提案する。 少ない計算コストでアダプタ間の協調を最適化する2段階の学習手法を提案する。
  論文  参考訳（メタデータ） (2023-09-20T03:39:56Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• FAME-ViL: Multi-Tasking Vision-Language Model for Heterogeneous Fashion Tasks [129.49630356651454]
  ファシオンに着目した視覚・言語タスクのための多タスク学習手法(FAME-ViL)を提案する。 我々のFAME-ViLは、代替案よりも61.5%のパラメータを節約できるが、従来の独立的に訓練されたシングルタスクモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-03-04T19:07:48Z)
• In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models [55.78264509270503]
  そこで本研究では,大規模モデルから小型モデルへ,文脈内数ショット学習能力を移行するために,文脈内学習蒸留を導入する。 メタ・イン・コンテクスト・タニング(Meta-ICT)とマルチタスク・イン・コンテクスト・タニング(Multitask-ICT)の2つの異なる学習パラダイムの下で、イン・コンテクスト・ラーニング・蒸留を行う。 実験と分析により,マルチタスクICTパラダイムの下で,文脈内学習の目的と言語モデリングの目的が相補的であることが明らかとなった。
  論文  参考訳（メタデータ） (2022-12-20T22:11:35Z)
• Multi-task Active Learning for Pre-trained Transformer-based Models [22.228551277598804]
  複数のタスクをひとつのモデルで共同で学習するマルチタスク学習により、NLPモデルは複数のアノテーションから情報を共有することができる。 このテクニックでは、コストがかかり、面倒な複数のアノテーションスキームで同じテキストに注釈を付ける必要がある。 アクティブラーニング(AL)は、ラベルなし例を反復的に選択することで、アノテーションプロセスの最適化を実証している。
  論文  参考訳（メタデータ） (2022-08-10T14:54:13Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Modelling Latent Skills for Multitask Language Generation [15.126163032403811]
  マルチタスク条件言語生成のための生成モデルを提案する。 我々の指導的仮説は、共通の潜在スキルの集合が、多くの異なる言語生成タスクの根底にあるというものである。 このタスク埋め込み空間を潜在変数列列列モデルにおける潜在変数としてインスタンス化する。
  論文  参考訳（メタデータ） (2020-02-21T20:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。