論文の概要: MUX-PLMs: Data Multiplexing for High-throughput Language Models

• arxiv url: http://arxiv.org/abs/2302.12441v2
• Date: Mon, 22 May 2023 20:29:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 00:14:33.322410
• Title: MUX-PLMs: Data Multiplexing for High-throughput Language Models
• Title（参考訳）: MUX-PLMs:高スループット言語モデルのためのデータ多重化
• Authors: Vishvak Murahari, Ameet Deshpande, Carlos E. Jimenez, Izhak Shafran, Mingqiu Wang, Yuan Cao, Karthik Narasimhan
• Abstract要約: マルチインプット・マルチアウトプット(MIMO)アルゴリズムはスループットを多倍に向上させる有望なソリューションを提供する。 データ多重化を訓練した高スループット事前学習言語モデルであるMUX-PLMsを開発した。 我々の新しい多重化・非多重化モジュールは、巧妙に絡み合ったり、歪んだりすることで、高性能なスループットのMuxplmを実現する。
• 参考スコア（独自算出の注目度）: 23.96140002012293
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The widespread adoption of large language models such as ChatGPT and Bard has led to unprecedented demand for these technologies. The burgeoning cost of inference for ever-increasing model sizes coupled with hardware shortages has limited affordable access and poses a pressing need for efficiency approaches geared towards high throughput and performance. Multi-input multi-output (MIMO) algorithms such as data multiplexing, offer a promising solution with a many-fold increase in throughput by performing inference for multiple inputs at the cost of a single input. Yet these approaches are not currently performant enough to be deployed in modern systems. We change that by developing MUX-PLMs, a class of high throughput pre-trained language models (PLMs) trained with data multiplexing, that can be fine-tuned for any downstream task to yield high-throughput high-performance. Our novel multiplexing and demultiplexing modules proficiently entangle and disentangle inputs, and enable high-performance high throughput \muxplms{} that are competitive with vanilla PLMs while achieving 2x/5x inference speedup with only a $1-4\%$ drop on a broad suite of tasks.
• Abstract（参考訳）: ChatGPTやBardといった大規模言語モデルの普及は、これらの技術に対する前例のない需要をもたらしている。 ハードウェア不足と組み合わさったモデルサイズ推定の急激なコストは、手頃な価格のアクセスを制限し、高いスループットとパフォーマンスを目標とする効率性アプローチの必要性を増している。 データ多重化のようなマルチインプットマルチアウトプット(MIMO)アルゴリズムは、単一入力のコストで複数の入力に対する推論を実行することで、スループットを多倍に向上させる有望なソリューションを提供する。 しかし、これらのアプローチは現代のシステムにデプロイするのに十分な性能を持っていない。 我々は、データ多重化で訓練された高スループット事前学習言語モデル(PLM)のクラスであるMUX-PLMを開発することで、ダウンストリームタスクに微調整を施し、高スループットのハイパフォーマンスを実現する。 我々の新しいマルチプレキシング・デマルチプレキシングモジュールは、入力を巧みに絡み合って切り離し、バニラPLMと競合する高性能な高スループット \muxplms{} を実現するとともに、2x/5x推論の高速化を実現し、幅広いタスクに対してわずか1-4\%のダウンしか達成できない。

関連論文リスト

• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• Advancing Multimodal Large Language Models with Quantization-Aware Scale Learning for Efficient Adaptation [70.22782550540714]
  QSLAWと呼ばれるマルチモーダルワームアップに基づく量子化対応スケールルアーニング法 本稿では、QSLAWと呼ばれるマルチモーダルワームアップに基づく量子化対応スケールLeArning手法を提案する。
  論文  参考訳（メタデータ） (2024-08-07T12:42:09Z)
• Relay Decoding: Concatenating Large Language Models for Machine Translation [21.367605327742027]
  我々はRD(Relay Decoding)と呼ばれる革新的なアプローチを提案し、ソースとターゲット言語を個別にサポートする2つの異なる大規模モデルを結合する。 これら2つのモデル間の接続を容易にするための単純なマッピング層を導入し、訓練に限られた並列データを活用することにより、機械翻訳タスクにおいて優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-05-05T13:42:25Z)
• Modality Plug-and-Play: Elastic Modality Adaptation in Multimodal LLMs for Embodied AI [10.82017289243097]
  LLM(Large Language Models)は、事前訓練されたエンコーダを通じて様々な入力データモダリティを推論することができる。 m-LLMは、既存の最良のスキームと比較してタスクの精度を最大4%改善する。
  論文  参考訳（メタデータ） (2023-12-13T04:08:59Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
  大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。 本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T07:31:51Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• MuLTI: Efficient Video-and-Language Understanding with Text-Guided MultiWay-Sampler and Multiple Choice Modeling [7.737755720567113]
  本稿では,高精度かつ効率的な映像・言語理解モデル MuLTI を提案する。 適応プール残差マッピングと自己アテンションモジュールに基づくテキストガイド型マルチウェイサンプラーを設計する。 また,新しい事前学習タスクであるMultiple Choice Modelingを提案する。
  論文  参考訳（メタデータ） (2023-03-10T05:22:39Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。