論文の概要: LiveMind: Low-latency Large Language Models with Simultaneous Inference

• arxiv url: http://arxiv.org/abs/2406.14319v2
• Date: Tue, 05 Nov 2024 18:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:21:38.209100
• Title: LiveMind: Low-latency Large Language Models with Simultaneous Inference
• Title（参考訳）: LiveMind: 同時推論による低レイテンシ大言語モデル
• Authors: Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Ulf Schlichtmann, Bing Li,
• Abstract要約: 大規模言語モデル(LLM)推論のための新しい低レイテンシ推論フレームワークであるLiveMindを紹介する。 計算処理を入力フェーズに再配置することで、レイテンシを大幅に削減できる。 このフレームワークは、モデルに対するストリーミングインプットの可視性を管理し、不完全なユーザインプットから推論したり、追加コンテンツを待つことができる。
• 参考スコア（独自算出の注目度）: 9.795240210326346
• License:
• Abstract: In this paper, we introduce LiveMind, a novel low-latency inference framework for large language model (LLM) inference which enables LLMs to perform inferences with incomplete user input. By reallocating computational processes to the input phase, a substantial reduction in latency is achieved, thereby significantly enhancing the interactive experience for users of LLMs. The framework adeptly manages the visibility of the streaming input to the model, allowing it to infer from incomplete user input or await additional content. Compared with traditional inference methods on complete user input, our approach demonstrates an average reduction in response latency of 84.0% on the MMLU dataset and 71.6% on the MMLU-Pro dataset, while maintaining comparable accuracy. Additionally, our framework facilitates collaborative inference and output across different models. By employing an large LLM for inference and a small LLM for output, we achieve an average 37% reduction in response latency, alongside a 4.30% improvement in accuracy on the MMLU-Pro dataset compared with the baseline. The proposed LiveMind framework advances the field of human-AI interaction by enabling more responsive and efficient communication between users and AI systems.
• Abstract（参考訳）: 本稿では,LLMが不完全なユーザ入力で推論を行うことを可能にする,大規模言語モデル(LLM)推論のための新しい低遅延推論フレームワークであるLiveMindを紹介する。 計算処理を入力フェーズに再配置することにより、遅延の大幅な低減を実現し、LCMのユーザによる対話的エクスペリエンスを大幅に向上させる。 このフレームワークは、モデルに対するストリーミングインプットの可視性を管理し、不完全なユーザインプットから推論したり、追加コンテンツを待つことができる。 提案手法では,MMLUデータセットで平均84.0%,MMLU-Proデータセットで平均71.6%の応答遅延を減少させる。 さらに、我々のフレームワークは異なるモデル間で協調的な推論と出力を促進する。 推定にLLMを,出力にLLMを小さくすることにより,MMLU-Proデータセットの精度が平均37%向上し,MMLU-Proデータセットの精度は4.30%向上した。 提案されたLiveMindフレームワークは、ユーザとAIシステム間のより応答性が高く効率的なコミュニケーションを可能にすることによって、人間とAIのインタラクションの分野を前進させる。

関連論文リスト

• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Multimodal Large Language Models with Fusion Low Rank Adaptation for Device Directed Speech Detection [8.683288452838136]
  大規模言語モデル(LLM)は人間のような会話を約束しているが、主にテキストデータに基づいて事前訓練されている。 本稿では,事前学習した単調なLDMを効率よく適用し,これまで目に見えなかった新しいモダリティを消費するFLORA手法を提案する。 デバイス指向音声検出では、FLoRAを用いることで、テキストのみのアプローチに比べて、マルチモーダルLLMは22%の誤差率(EER)の相対的な低減を実現している。
  論文  参考訳（メタデータ） (2024-06-13T22:52:07Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Modality Plug-and-Play: Elastic Modality Adaptation in Multimodal LLMs for Embodied AI [10.82017289243097]
  LLM(Large Language Models)は、事前訓練されたエンコーダを通じて様々な入力データモダリティを推論することができる。 m-LLMは、既存の最良のスキームと比較してタスクの精度を最大4%改善する。
  論文  参考訳（メタデータ） (2023-12-13T04:08:59Z)
• Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
  LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。 本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
  論文  参考訳（メタデータ） (2023-11-21T02:01:01Z)
• Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
  本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。 このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。 提案手法は従来のSOTA(State-of-the-art)よりも優れている。
  論文  参考訳（メタデータ） (2023-06-16T13:04:56Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)
• Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering [63.87200781247364]
  相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。 マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
  論文  参考訳（メタデータ） (2022-09-14T22:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。