論文の概要: Koi: Evidence-Guided, Self-Calibrating Planning for Multi-Cloud, Heterogeneous LLM Inference Fleets

• arxiv url: http://arxiv.org/abs/2610.24355v1
• Date: Sat, 17 Oct 2026 01:03:13 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:40:55.570617
• Title: Koi: Evidence-Guided, Self-Calibrating Planning for Multi-Cloud, Heterogeneous LLM Inference Fleets
• Title（参考訳）: Koi:マルチクラウド・異種LSM推論フリートのためのエビデンスガイドによる自己キャリブレーション計画
• Abstract要約: 異種マルチクラウドフリートのための自己校正クラスタプランナであるKoiを紹介する。 Koi氏は、再帰的言語モデル(RLM)階層を使用して、デプロイよりも仮説と理由を提案する。 Koiは最強のベースラインよりも1.18倍高い出力を実現し、実際の異種クラスタでは$/tokenを20%削減する。
• 参考スコア（独自算出の注目度）: 27.655525284702318
• License:
• Abstract: Deploying a large language model (LLM) requires choosing the right accelerator, parallelization strategy, engine configuration, and replica count amongst ~140 other variables across clouds, regions, and markets. These decisions are intertwined, and the best cluster-wide plan continually changes as jobs contend for shared capacity on shifting workloads. We present Koi, a self-calibrating cluster planner for heterogeneous, multi-cloud fleets. Koi uses a Recursive Language Model (RLM) hierarchy to propose hypotheses and reason over deployment while deterministic components predict serving behavior, score candidates, and control placement. It represents inference behavior as a fixed causal graph linking decisions (e.g., accelerator, parallelism), runtime mediators (e.g., KV-cache pressure, communication overhead), and outcomes (e.g., latency, throughput). Each deployment strengthens or weakens scoped causal relationships, building a comprehensive playbook for inference that the planner employs to guide future decisions. Job-wise configurations are composed into cluster-wide plans and evaluated against serving objectives, resource constraints, SLO risks, and cost. Across benchmarks, Koi achieves 1.18x greater goodput than the strongest baseline while reducing $/token by 20% in a real heterogeneous cluster. Ablations isolate the contribution of Koi's architecture: a pure language model attains a composite score of 35.3, the same model equipped with Koi's deterministic tools reaches 51.6, and the full Koi planner reaches 70.8.
• Abstract（参考訳）: 大規模言語モデル(LLM)のデプロイには,適切なアクセラレータ,並列化戦略,エンジン構成,レプリカ数など,クラウドやリージョン,市場を越えた140の変数を選択する必要がある。 これらの決定は相互運用され、ワークロードのシフトにおいてジョブが共有能力を求めるため、クラスタ全体の最高の計画が継続的に変更される。 異種マルチクラウドフリートのための自己校正クラスタプランナであるKoiを紹介する。 Koi氏は、Recursive Language Model (RLM)階層を使用して、デプロイメントの仮説と推論を提案し、決定論的コンポーネントは提供行動の予測、候補のスコア、配置制御を行う。 推論動作は、決定(例えば、アクセラレータ、並列処理)、実行時の仲介者(例えば、KVキャッシュの圧力、通信オーバーヘッド)、結果(例えば、レイテンシ、スループット)をリンクする固定された因果グラフとして表現される。 各デプロイメントは、スコープ化された因果関係を強化または弱め、プランナーが将来の決定を導くために使用する推論のための包括的なプレイブックを構築する。 ジョブワイズ構成は、クラスタ全体の計画で構成され、サービス目的、リソース制約、SLOリスク、コストに対して評価される。 ベンチマーク全体で、Koiは最強のベースラインよりも1.18倍高い出力を達成し、実際の異種クラスタでは$/tokenを20%削減した。 純粋な言語モデルは合成スコア35.3に達し、コーイの定式化ツールを備えた同じモデルは51.6に達し、完全なコーイプランナーは70.8に達する。

関連論文リスト

• Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
  ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。 1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
  論文  参考訳（メタデータ） (2026-08-11T15:07:28Z)
• GOAL: Graph-based Objective-Aligned Diffusion Solvers for Dynamic Multi-Objective Optimization [23.159351572430214]
  GOALは関係グラフ表現上の条件付き拡散解法である。 本稿では,異なる制約のクラスに対応する異なるエッジタイプが,グラフニューラルネットワークのメッセージパッシング構造を定義する異種グラフ符号化手法を提案する。 GOALは、最大20のジョブと60のオペレーションの複数の目的に対して、100%ソリューションの実現性とほぼゼロのMAPEを実現する。
  論文  参考訳（メタデータ） (2026-05-18T21:11:03Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Efficient LLM Collaboration via Planning [56.081879390960204]
  小規模で大規模なモデルでは、プランナーと実行担当者として交代で行動し、タスクを協調的に解決するために、多段階のカスケードでプランを交換する。 私たちはCOPEが大規模プロプライエタリモデルに匹敵するパフォーマンスを実現し,推論APIのコストを大幅に削減できることを実証した。
  論文  参考訳（メタデータ） (2025-06-13T08:35:50Z)
• A Unified Theory of Compositionality, Modularity, and Interpretability in Markov Decision Processes [1.3044677039636754]
  我々は、新しい報酬のないマルコフ決定プロセスのためのオプションカーネルベルマン方程式(OKBE)を紹介する。 OKBEは、状態時オプションカーネル(STOK)と呼ばれる予測マップを直接構築し、最適化し、ゴールを達成する確率を最大化する。 我々は、報酬-最大化は構成性、モジュラリティ、解釈可能性の性質と矛盾していると主張する。
  論文  参考訳（メタデータ） (2025-06-11T08:21:22Z)
• Causality is all you need [63.10680366545293]
  因果グラフルーティング(Causal Graph Routing, CGR)は、データに隠された原因影響力を明らかにするための介入機構を完全に依存した統合因果スキームである。 CGRは、Visual Question AnswerとLong Document Classificationタスクの両方において、最先端のメソッドを超越することができる。
  論文  参考訳（メタデータ） (2023-11-21T02:53:40Z)
• Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning [15.311309249848739]
  階層型独立サブモデルトレーニング(Hierarchical independent submodel training、HIST)は、階層型クラウド-エッジ-クライアントネットワークにおけるこれらの問題に対処することを目的とした新しいFL方法論である。 本研究では,HISTを空気上計算(AirComp)で拡張することにより,エッジセル上でのモデルアグリゲーションの効率をより高めることができることを示す。
  論文  参考訳（メタデータ） (2023-10-27T04:42:59Z)
• $\clubsuit$ CLOVER $\clubsuit$: Probabilistic Forecasting with Coherent Learning Objective Reparameterization [42.215158938066054]
  MQForecasterニューラルネットワークアーキテクチャを多変量ガウス因子モデルで拡張し,構築によるコヒーレンスを実現する。 我々はこの手法をCLOVER(Coherent Learning Objective Reparametrization Neural Network)と呼ぶ。 CLOVERは最先端のコヒーレント予測手法と比較して,スケールしたCRPS予測精度が15%向上した。
  論文  参考訳（メタデータ） (2023-07-19T07:31:37Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。