論文の概要: DeInfer: Efficient Parallel Inferencing for Decomposed Large Language Models

• arxiv url: http://arxiv.org/abs/2604.17709v1
• Date: Mon, 20 Apr 2026 01:47:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.651779
• Title: DeInfer: Efficient Parallel Inferencing for Decomposed Large Language Models
• Title（参考訳）: DeInfer: 分解された大規模言語モデルの効率的な並列推論
• Authors: You-Liang Huang, Xinhao Huang, Chengxi Liao, Zeyi Wen,
• Abstract要約: 既存の言語モデル(LLM)の分解は、主に下流タスクのパフォーマンス向上に重点を置いている。 本稿では,分解LDMの並列推論専用の高性能推論システムであるDeInferを紹介する。
• 参考スコア（独自算出の注目度）: 13.105847999980556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing works on large language model (LLM) decomposition mainly focus on improving performance on downstream tasks, but they ignore the poor parallel inference performance when trying to scale up the model size. To mitigate this important performance issue, this paper introduces DeInfer, a high-performance inference system dedicated to parallel inference of decomposed LLMs. It consists of multiple optimizations to maximize performance and be compatible with state-of-the-art optimization techniques. Extensive experiments are carried out to evaluate DeInfer's performance, where the results demonstrate its superiority, suggesting it can greatly facilitate the parallel inference of decomposed LLMs.
• Abstract（参考訳）: 既存の言語モデル(LLM)の分解は、主に下流タスクのパフォーマンス向上に重点を置いているが、モデルサイズをスケールアップしようとすると、並列推論性能が劣っていることを無視している。 この重要な性能問題を緩和するために,分解LDMの並列推論専用の高性能推論システムであるDeInferを紹介する。 性能を最大化し、最先端の最適化技術と互換性のある複数の最適化で構成されている。 DeInferの性能を評価するため, 大規模な実験を行い, その結果, 分解LDMの並列推論を大幅に促進できることが示唆された。

関連論文リスト

• Parallel In-context Learning for Large Vision Language Models [17.034369186373162]
  大規模視覚言語モデル(LVLM)は、実演例を活用することで、新しいタスクに適応するためにマルチモーダル・インコンテキスト・ラーニング(MM-ICL)を用いる。 プラグアンドプレイ推論アルゴリズムであるParallel In-Context Learning(Parallel-ICL)を提案する。 そこで本研究では,Parallel-ICLがフルコンテキストMM-ICLに匹敵する性能を実現し,推論速度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-03-17T03:28:36Z)
• Language Ranker: A Lightweight Ranking framework for LLM Decoding [70.01564145836129]
  本稿では,レコメンデーションパイプラインのランク付け段階に類似した復号過程を概念化する。 この知見に触発されて、我々はLanguage Rankerを提案する。 実験の結果、Language Rankerは大規模報酬モデルに匹敵するパフォーマンスを達成する一方で、0.5Mの追加パラメータしか必要としないことがわかった。
  論文  参考訳（メタデータ） (2025-10-23T17:56:46Z)
• Optimization-Inspired Few-Shot Adaptation for Large Language Models [25.439708260502556]
  LLM(Large Language Models)は、現実世界のアプリケーションで顕著な性能を示している。 LLMを微調整によって新しいタスクに適応させるには、数ショットのシナリオでは実行不可能な、実質的なトレーニングデータと計算資源が必要となることが多い。 既存のアプローチ、例えば、コンテキスト内学習や。 PEFT(Efficient Fine-Tuning)は、重要な制限に直面している。
  論文  参考訳（メタデータ） (2025-05-25T11:54:23Z)
• Seesaw: High-throughput LLM Inference via Model Re-sharding [8.840996987380484]
  本稿ではスループット指向タスクに最適化された推論エンジンであるSeesawを紹介する。 Seesawの背景にある主要なアイデアは、並列化戦略の動的再構成を容易にする技術である動的モデル再シャーディングである。
  論文  参考訳（メタデータ） (2025-03-09T04:14:06Z)
• Dipper: Diversity in Prompts for Producing Large Language Model Ensembles in Reasoning tasks [77.40114523163892]
  DIPPERは、単一の大規模言語モデル(LLM)を効果的な推論時間アンサンブルに変換する、トレーニング不要のフレームワークである。 モデルに最適化された多様なプロンプトのセットを並列に供給することで、DIPPERは様々な推論パスを持ち込み、パフォーマンスの向上につながった。 我々は,3つのQwen2-MATH-1.5BインスタンスのDIPPERアンサンブルがより大きな7Bモデルより優れているMATHなどの推論ベンチマークにおいて,顕著な改善を実証的に示す。
  論文  参考訳（メタデータ） (2024-12-12T17:49:05Z)
• Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention [71.12193680015622]
  大規模言語モデル(LLM)は自然言語処理において顕著な能力を示している。 LLMは異なる言語間で大きな性能差を示す。 Inference-Time Cross-Lingual Intervention (INCLINE) を提案する。
  論文  参考訳（メタデータ） (2024-10-16T11:23:03Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。