論文の概要: Deploying Multi-task Online Server with Large Language Model

• arxiv url: http://arxiv.org/abs/2411.03644v1
• Date: Wed, 06 Nov 2024 03:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:44.433784
• Title: Deploying Multi-task Online Server with Large Language Model
• Title（参考訳）: 大規模言語モデルによるマルチタスクオンラインサーバのデプロイ
• Authors: Yincen Qu, Chao Ma, Yiting Wu, Xiangying Dai, Hui Zhou, Hengyue Liu,
• Abstract要約: 大規模言語モデルのための3段階のマルチタスク学習フレームワークを提案する。 タスクフィルタリング、続いて高リソースタスクの微調整、最後にすべてのタスクの微調整を行う。 我々のアプローチは、異なるベンチマークで例示され、最大90.9%のオーバーヘッドを削減しつつ、シングルタスク方式に匹敵するパフォーマンスを実現することができることを示した。
• 参考スコア（独自算出の注目度）: 9.118405878982383
• License:
• Abstract: In the industry, numerous tasks are deployed online. Traditional approaches often tackle each task separately by its own network, which leads to excessive costs for developing and scaling models, especially in the context of large language models. Although multi-task methods can save costs through parameter sharing, they often struggle to outperform single-task methods in real-world applications. To tackle these challenges, we present a three-stage multi-task learning framework for large language models. It involves task filtering, followed by fine-tuning on high-resource tasks, and finally fine-tuning on all tasks. We conducted comprehensive experiments in single-task and multi-task settings. Our approach, exemplified on different benchmarks, demonstrates that it is able to achieve performance comparable to the single-task method while reducing up to 90.9\% of its overhead.
• Abstract（参考訳）: 業界では、多くのタスクがオンラインにデプロイされます。 従来のアプローチでは、各タスクを独自のネットワークで個別に扱うことが多く、特に大規模言語モデルのコンテキストにおいて、モデルの開発とスケーリングに過大なコストがかかる。 マルチタスク方式はパラメータ共有によってコストを削減できるが、現実のアプリケーションではシングルタスク方式よりも優れている。 これらの課題に対処するために,大規模言語モデルのための3段階のマルチタスク学習フレームワークを提案する。 タスクフィルタリング、続いて高リソースタスクの微調整、最後にすべてのタスクの微調整を行う。 シングルタスクとマルチタスク設定の総合的な実験を行った。 提案手法は,異なるベンチマークに例示して,最大90.9\%のオーバヘッドを削減しつつ,シングルタスク法に匹敵する性能を達成できることを実証する。

関連論文リスト

• LIMT: Language-Informed Multi-Task Visual World Models [6.128332310539627]
  マルチタスク強化学習は、サンプルの複雑さの増加と、潜在的に矛盾するタスクの目的のため、非常に難しい。 本稿では,事前学習した言語モデルを利用して意味のあるタスク表現を抽出し,マルチタスクのビジュアルワールドモデルを学習する手法を提案する。 本結果は,世界モデルにおける言語駆動型タスク表現の利点と,より一般的なモデル自由パラダイムに対するモデルベースマルチタスク学習の明確な利点を強調した。
  論文  参考訳（メタデータ） (2024-07-18T12:40:58Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Pruning Pretrained Encoders with a Multitask Objective [12.062758391661847]
  シングルタスクモデルのベストアンサンブルに対して,マルチタスクの目的と単一モデルのプルーニングを比較した。 さらなる分析により、マルチタスクの目的をプルーニング中に使用することは、低リソースタスクのモデルサイズの削減に有効な方法であることがわかった。
  論文  参考訳（メタデータ） (2021-12-10T17:57:33Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Knowledge Distillation for Multi-task Learning [38.20005345733544]
  マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。 そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。 本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T08:02:42Z)
• HyperGrid: Efficient Multi-Task Transformers with Grid-wise Decomposable Hyper Projections [96.64246471034195]
  我々は,マルチタスク学習を効果的に行う新しいアプローチであるtextscHyperGridを提案する。 本手法は,微調整とマルチタスク学習のギャップを埋めるのに役立つ。
  論文  参考訳（メタデータ） (2020-07-12T02:49:16Z)
• Gradient Surgery for Multi-Task Learning [119.675492088251]
  マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。 マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。 本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
  論文  参考訳（メタデータ） (2020-01-19T06:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。