論文の概要: Beyond the Buzz: A Pragmatic Take on Inference Disaggregation

• arxiv url: http://arxiv.org/abs/2506.05508v1
• Date: Thu, 05 Jun 2025 18:47:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 21:34:56.747992
• Title: Beyond the Buzz: A Pragmatic Take on Inference Disaggregation
• Title（参考訳）: Beyond the Buzz: 推論のデアグリゲーションに関する現実的な見解
• Authors: Tiyasa Mitra, Ritika Borkar, Nidhi Bhatia, Ramon Matas, Shivam Raj, Dheevatsa Mudigere, Ritchie Zhao, Maximilian Golub, Arpan Dutta, Sailaja Madduri, Dharmesh Jani, Brian Pharris, Bita Darvish Rouhani,
• Abstract要約: 本稿では,分散推論の大規模化に関する最初の体系的研究について述べる。 その結果,デアグリゲーションは交通パターンや大規模モデルにおいて最も有効であることが判明した。
• 参考スコア（独自算出の注目度）: 2.9938991029619064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As inference scales to multi-node deployments, disaggregation - splitting inference into distinct phases - offers a promising path to improving the throughput-interactivity Pareto frontier. Despite growing enthusiasm and a surge of open-source efforts, practical deployment of disaggregated serving remains limited due to the complexity of the optimization search space and system-level coordination. In this paper, we present the first systematic study of disaggregated inference at scale, evaluating hundreds of thousands of design points across diverse workloads and hardware configurations. We find that disaggregation is most effective for prefill-heavy traffic patterns and larger models. Our results highlight the critical role of dynamic rate matching and elastic scaling in achieving Pareto-optimal performance. Our findings offer actionable insights for efficient disaggregated deployments to navigate the trade-off between system throughput and interactivity.
• Abstract（参考訳）: 推論がマルチノードデプロイメントにスケールするにつれて、デアグリゲーション — 推論を別々のフェーズに分割する — は、スループット-インタラクティブなParetoフロンティアを改善するための有望な道を提供する。 熱意の高まりとオープンソースの努力の急増にもかかわらず、最適化検索空間の複雑さとシステムレベルの調整が原因で、非集約型サービスの実現は依然として限られている。 本稿では,分散推論の大規模化に関する最初の体系的研究を行い,多様なワークロードやハードウェア構成にまたがる数十万の設計ポイントについて評価する。 その結果,デアグリゲーションは交通パターンや大規模モデルにおいて最も有効であることが判明した。 この結果から,パレート最適性能を実現する上での動的レートマッチングと弾性スケーリングの重要性が示唆された。 我々の発見は、システムのスループットと対話性の間のトレードオフをナビゲートするために、効率的な非集合的デプロイメントのための実用的な洞察を提供する。

関連論文リスト

• Flow Matching for Offline Reinforcement Learning with Discrete Actions [18.806918500759704]
  フローマッチングを、複数の目的を持った離散的なアクション空間をサポートする一般的なフレームワークに拡張する。 具体的には,連続フローを連続時間マルコフ連鎖に置き換え,Q重み付きフローマッチングの目的を用いて学習する。 次に,多エージェント設定に設計を拡張し,因子化条件付き経路による共同行動空間の指数的成長を緩和する。
  論文  参考訳（メタデータ） (2026-02-05T19:13:44Z)
• PC2P: Multi-Agent Path Finding via Personalized-Enhanced Communication and Crowd Perception [12.114711272142031]
  PC2Pは、QラーニングベースのMARLフレームワークから派生した、新しい分散MAPF手法である。 動的グラフトポロジに基づくパーソナライズされたコミュニケーション機構を提案する。 致命的なデッドロック問題を解決するために,我々は地域ベースのデッドロック破滅戦略を提案する。
  論文  参考訳（メタデータ） (2026-01-06T03:11:26Z)
• DynaAct: Large Language Model Reasoning with Dynamic Action Spaces [58.298135359318024]
  コンパクトなアクション空間を自動構築する新しいフレームワークtextscDynaActを提案する。 当社のアプローチは,大幅な遅延を発生させることなく,効率的な推論を維持しながら,全体的なパフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2025-11-11T09:47:13Z)
• A Unified Multi-Task Learning Framework for Generative Auto-Bidding with Validation-Aligned Optimization [51.27959658504722]
  マルチタスク学習は、これらのタスクを共有表現を通じて共同でトレーニングするための、原則化されたフレームワークを提供する。 既存のマルチタスク最適化戦略は、主にトレーニングダイナミクスによって導かれ、不安定な入札環境ではよく一般化される。 本稿では,タスク毎のトレーニング勾配と保留有効度勾配のアライメントに基づいてタスク重みを適応的に割り当てる,バリデーション適応型マルチタスク最適化(VAMO)を提案する。
  論文  参考訳（メタデータ） (2025-10-09T03:59:51Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Decomposing the Entropy-Performance Exchange: The Missing Keys to Unlocking Effective Reinforcement Learning [106.68304931854038]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の推論能力を高めるために広く用いられている。 我々は,RLVRのエントロピー・パフォーマンス交換機構を,異なるレベルの粒度で系統的に解析する。 分析の結果, 上昇段階において, 負のサンプルのエントロピー減少は効果的な推論パターンの学習を促進することが明らかとなった。 プラトー段階では、学習効率は、低エントロピーのサンプルに存在する高エントロピートークンと、シーケンスの終端に位置するトークンと強く相関する。
  論文  参考訳（メタデータ） (2025-08-04T10:08:10Z)
• Multi-Agent Collaboration via Evolving Orchestration [61.93162413517026]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。 LLMをベースとしたマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し、中央オーケストレータがタスク状態の進化に応じてエージェントを動的に指示する。 クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-05-26T07:02:17Z)
• Reducing Unimodal Bias in Multi-Modal Semantic Segmentation with Multi-Scale Functional Entropy Regularization [66.10528870853324]
  高精度な予測タスクのための新しいセンサからのマルチモーダル入力の再利用とバランスが重要である。 1つの大きな制限は、マルチモーダルフレームワークが容易に学習可能なモダリティに過度に依存する傾向があることである。 本稿では,機能的エントロピーに基づくプラグ・アンド・プレイ正規化項を提案する。
  論文  参考訳（メタデータ） (2025-05-10T12:58:15Z)
• Q-function Decomposition with Intervention Semantics with Factored Action Spaces [51.01244229483353]
  元の作用空間の低次元射影部分空間上で定義されるQ-函数を考察し、分解されたQ-函数の不偏性について考察する。 これにより、標準モデルフリー強化学習アルゴリズムにおいて、予測Q関数を用いてQ関数を近似する動作分解強化学習と呼ばれる一般的なスキームが導かれる。
  論文  参考訳（メタデータ） (2025-04-30T05:26:51Z)
• Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
  Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Framework for Progressive Knowledge Fusion in Large Language Models Through Structured Conceptual Redundancy Analysis [0.0]
  大規模モデルにおける潜在知識の組織化は、重なり合う表現に対処し、文脈的精度を最適化する際、ユニークな課題を生じさせる。 高度なクラスタリング技術と動的しきい値設定により,これらの冗長性を再構築するフレームワークが提案された。 評価の結果、メモリ効率が向上し、推論時間が短縮され、解釈可能性を高める潜在知識クラスタのアライメントが向上した。
  論文  参考訳（メタデータ） (2025-01-23T11:34:04Z)
• DisCo-DSO: Coupling Discrete and Continuous Optimization for Efficient Generative Design in Hybrid Spaces [12.729697787995892]
  DisCo-DSOは、生成モデルを用いて離散的かつ連続的な設計変数に関する共同分布を学習する新しいアプローチである。 特に,決定木を用いた強化学習の最先端手法に対するDisCo-DSOの優位性について述べる。
  論文  参考訳（メタデータ） (2024-12-15T04:51:54Z)
• Efficient Pareto Manifold Learning with Low-Rank Structure [31.082432589391953]
  マルチタスク学習は本質的に多目的最適化問題である。 そこで本研究では,複数の低ランク行列を主ネットワークに統合する手法を提案する。 パラメータの数を著しく削減し、共有された特徴の抽出を容易にする。
  論文  参考訳（メタデータ） (2024-07-30T11:09:27Z)
• Unifying Feature and Cost Aggregation with Transformers for Semantic and Visual Correspondence [51.54175067684008]
  本稿では,高密度マッチングタスク用に設計されたTransformerベースの積分機能とコスト集約ネットワークを提案する。 まず, 特徴集約とコスト集約が異なる特徴を示し, 双方の集約プロセスの司法的利用から生じる実質的な利益の可能性を明らかにした。 本フレームワークは意味マッチングのための標準ベンチマークで評価され,また幾何マッチングにも適用された。
  論文  参考訳（メタデータ） (2024-03-17T07:02:55Z)
• Bayesian Off-Policy Evaluation and Learning for Large Action Spaces [13.001601860404426]
  対話型システムでは、アクションはよく相関し、よりサンプリング効率の良いオフ・ポリシーの評価と学習の機会を提供する。 我々は、これらの相関関係を構造化および情報的事前を通じて捉えるために、統一されたベイズ的枠組みを導入する。 我々は,OPEとOPLの一般ベイズ的アプローチであるsDMを提案する。
  論文  参考訳（メタデータ） (2024-02-22T16:09:45Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
  粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。 これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。 種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-09-25T13:05:33Z)
• Fusion and Orthogonal Projection for Improved Face-Voice Association [15.938463726577128]
  顔と声の関連性について検討する。 両モードの相補的手がかりを利用して, リッチなフューズド埋め込みを形成する軽量なプラグアンドプレイ機構を提案する。
  論文  参考訳（メタデータ） (2021-12-20T12:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。