論文の概要: Ready Cohorts: Bounding GPU Opportunity and Avoiding Host Round Trips in LLM-Agent Control
- arxiv url: http://arxiv.org/abs/2608.12123v1
- Date: Wed, 12 Aug 2026 14:42:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.616299
- Title: Ready Cohorts: Bounding GPU Opportunity and Avoiding Host Round Trips in LLM-Agent Control
- Title(参考訳): Ready Cohorts: LLM-Agent制御におけるGPUオポチュニティとホストラウンドトリップの回避
- Abstract要約: 固定シェアF, 正確なオフラインシェアP*, ローカルアッパーバウンドU, オンライン達成シェアAを用いて, 既定コホート境界を定式化する。
別のメカニズムの研究では、4バイトをホストに返さずに、GPUで計算されたバイナリ決定をデバイスに保持している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-agent services repeatedly execute small deterministic transitions between model and tool calls: route an outcome, update state, and emit the next effect. We ask when this control path exposes enough concurrent work for GPU execution, and what changes when a GPU-computed route decision remains on device. We formalize the ready-cohort boundary using fixed-partition share F, exact offline share P*, local upper bound U, and online achieved share A. Under zero service time, unlimited capacity, and equal relative launch deadlines, a specialized dynamic program computes P* exactly. In a stationary Poisson replay of one pinned 851-session public trace panel, the primary condition at 100,000 target active sessions, K=256, and a 50 ms launch deadline gives F=30.19%, P*=43.00%, and U=45.85%. Exact packing recovers 81.83% of the opportunity lost at fixed window boundaries. The outcome-derived route key is a conditioning proxy, not proof of executable identity. A separate mechanism study keeps a GPU-computed binary decision on device instead of returning four bytes to the host and redispatching. Across four named GPU placements, the device-resident path is faster in all 36 configurations; within-placement row-median ratios range from 1.19x to 2.39x. Across both admissible mechanisms, all 14,557,440 tested batched invocations match a separately implemented host oracle. A fixed nested device graph that removes no host decision is slower in all 60 configurations across five placements. Together, the studies establish two measurable gates for GPU agent control: deadline-feasible cohort supply and observation placement. A joined finite online runtime is required to measure A, CPU displacement, and service-level benefit.
- Abstract(参考訳): LLMエージェントサービスは、結果のルート、状態の更新、次の効果の出力など、モデルとツール呼び出し間の小さな決定論的遷移を繰り返し実行します。
この制御パスがGPU実行に十分な並行処理を公開しているか、GPU計算されたルート決定がデバイスに残っている場合、どのような変更があるのかを問う。
固定分割共有F, 正確なオフライン共有P*, ローカルアッパーバウンドU, オンライン達成共有Aを用いて, サービス時間ゼロ, 容量無制限, 相対打ち上げ期限等を定式化し, 動的プログラムがP*を正確に計算する。
851セッションの公開トレースパネルを固定したポアソンのリプレイでは、10,000のアクティブセッション、K=256、50msの打ち上げ期限がF=30.19%、P*=43.00%、U=45.85%となっている。
Exact Packingは、固定されたウィンドウ境界で失われる機会の81.83%を回復する。
結果から導かれるルートキーは条件付きプロキシであり、実行可能IDの証明ではない。
別のメカニズムの研究では、4バイトをホストに返さずに、GPUで計算されたバイナリ決定をデバイスに保持している。
4つの名前のGPU配置で、デバイス常駐パスは36のすべての構成で高速で、配置内行中比は1.19xから2.39xである。
どちらも許容可能なメカニズムで、テストされた14,557,440のバッチ呼び出しはすべて、別々に実装されたホストのオラクルと一致している。
ホスト決定を削除しない固定ネストデバイスグラフは、5つの配置にわたる60構成すべてで遅い。
研究は、GPUエージェント制御のための2つの測定可能なゲートを確立する。
結合された有限オンラインランタイムは、A、CPUの変位、サービスレベルの利点を測定するために必要である。
関連論文リスト
- Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning [67.04448659688579]
FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
フェデレーションはオプションではなく、オフ・ザ・シェルフ・トランスファーは流通シフトによって崩壊する。
Live FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
論文 参考訳(メタデータ) (2026-09-02T07:57:12Z) - Metis: Typed Runtime Mediation for Tool-Using Software Agents [13.543030296451661]
コールが外部効果に達する前に、プロバイダストリームを型付きイベントに変換するマルチプロジェクタランタイムであるMetisを提示する。
我々はこれらのメカニズムを凍結した原材料上で評価した。
論文 参考訳(メタデータ) (2026-08-26T03:10:03Z) - LazyTrain: Limited-resource Allocation toward Zero-waste Yield Optimization in Large Language Model Training [28.882595607766916]
限られたハードウェア上での大規模言語モデルのトレーニングは、ますますスケジューリングの問題になっている。
本稿では,レイヤストリーミングエグゼキュータ上の最適化レイヤであるLazyTrainを提案する。
論文 参考訳(メタデータ) (2026-08-12T11:04:06Z) - PhyAI: Real-Time Physical AI at the Edge, Scalable Rollouts in the Cloud [19.027069678233655]
PhyAIは、単一のランタイムを持つ物理AI推論エンジンである。
単一のまたは複数のGPU上でビジョン言語アクション(VLA)モデルとワールドアクションモデル(WAM)を実行する。
pi0、pi0.5、GR00T N1.7、MiniCPM-Robotの公式実装よりも1.40x-4.65xのスピードアップを実現している。
論文 参考訳(メタデータ) (2026-08-04T13:53:48Z) - HetRoute Heterogeneous and Cost-aware Collaborative Routing Framework for Distributed Edge MoE Inference [47.0879800334801]
HetRouteは、分散エッジMoE推論のための異種コスト対応協調ルーティングフレームワークである。
HetRouteは平均推論遅延を59.0%、P99レイテンシを58.0%まで削減する。
論文 参考訳(メタデータ) (2026-08-01T10:30:01Z) - CUADebug: Diagnosing and Repairing Computer-Use Agent Failures [65.56066380320107]
コンピュータ利用エージェント(CUA)は、スクリーンショット、マウスとキーボードのアクション、ステートフルなUIフィードバックを通じて、実際のデスクトップとWebインターフェースを操作する。
テキストのみのエージェントとは異なり、CUAの失敗は、視覚知覚、接地、低レベル相互作用、タスク推論、環境ダイナミクスの複合から生じる。
CUA障害の診断と修復のためのフレームワークであるCUA Debugを紹介する。
論文 参考訳(メタデータ) (2026-07-31T13:59:45Z) - Device-First Feedback: Toward Mobile-Native LLM-Driven Neural Architecture Search [44.70501115891534]
アーキテクチャ生成LLMのQLoRA微調整からループを閉じる自動モバイルデプロイメントパイプラインを提案する。
我々はSamsung SM-P613タブレット上で,CIFAR-10とCIFAR-100の2つのベンチマークで同じ凍結プロトコルを評価した。
論文 参考訳(メタデータ) (2026-07-29T14:36:45Z) - FusionML: Prefill, Not Decode - Mechanism and Boundaries of CPU+GPU Co-Execution on Unified-Memory Apple Silicon [0.0]
私たち自身を含む以前の試みは、失敗に終わり、あるいは正確で確立された勝利を生み出しました。
MLXの遅延グラフスケジューラは、クロスストリーム作業を行う CPU ストリーム操作が1つの評価グラフ内で非マテリアル化された GPU 結果を消費する場合、行分割行列は、物質化された入力で x1.38 を高速に実行する。
デコードでは利益が得られず、共有帯域幅によるバウンドは追加されない。
論文 参考訳(メタデータ) (2026-07-24T11:42:17Z) - DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners? [57.585275546688116]
VLM(Vision-Language Models)は、エンボディエージェントの高レベルプランナーとしてますます普及している。
テストタイムの計算をいつ、どこで使うかを選択することは、実際の世界にフロンティアパフォーマンスをもたらす中心である、と私たちは主張する。
我々はマルチモーダルシーンコンテキストを用いてプロンプト毎に計算を割り当てるルーティングフレームワークであるDIRECTを紹介した。
論文 参考訳(メタデータ) (2026-06-10T17:58:49Z) - MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research [39.68394140712043]
MobileGymは、日常的なモバイル利用のための軽量で完全に制御可能な環境である。
階層化された状態モデルと宣言的なタスク定義フレームワークは、状態のプログラマビリティとタスク作成を大規模に実践的に保ちます。
単一のプログラム的判断メカニズムは、決定論的評価評価と高密度報酬の両方を提供する。
論文 参考訳(メタデータ) (2026-05-25T17:59:49Z) - Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。
主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。
実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
論文 参考訳(メタデータ) (2026-05-25T10:39:28Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳(メタデータ) (2026-05-11T17:49:43Z) - TaxBreak: Unmasking the Hidden Costs of LLM Inference Through Overhead Decomposition [0.0]
この作業では、ホスト可視のオーケストレーションオーバーヘッドを分解するトレース駆動の方法論であるTaxBreakを紹介している。
NVIDIA H100およびH200システム上でTaxBreakを検証し、提案したホストデバイスバランス指標(HDBI)を導出する。
我々は,MoEモデルが高密度モデルよりも出力トークン当たり8~11倍のカーネルをディスパッチし,ホストバウンドワークロードでは,シングルスレッド性能が1次パラメータであることを示す。
論文 参考訳(メタデータ) (2026-03-12T21:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。