論文の概要: DynBranch: Speculative Subgraph Reuse for Dynamic Agentic LLM Serving
- arxiv url: http://arxiv.org/abs/2609.31047v1
- Date: Fri, 25 Sep 2026 09:42:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.328781
- Title: DynBranch: Speculative Subgraph Reuse for Dynamic Agentic LLM Serving
- Title(参考訳): DynBranch:動的エージェントLDM実行のための投機的サブグラフリユース
- Abstract要約: 未解決分岐を解決前にアドレス化可能にするDynBranchを提案する。
その安定した座標により、候補のサブグラフは解像度中に実行され、完了したサブグラフの結果は後続の要求で再利用される。
DynBranchはモデルAPI境界にあり、エージェントハーネスやモデル実行エンジンを変更する必要はない。
- 参考スコア(独自算出の注目度): 4.081053645959144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic LLM workflows decide their execution paths at runtime. Downstream computation may be predictable, or may have run before, yet it cannot begin until the model or the user resolves the branch. We call this serialization the branch-resolution barrier. Caching alone does not hide it: the key that identifies a reusable result is not known until then. In this paper, we propose DynBranch, which makes an unresolved branch addressable before it resolves. Its stable coordinate lets candidate subgraphs run during resolution and completed subgraph results be reused across later requests. A two-level controller admits this work when its expected benefit exceeds the load price. DynBranch sits at the model-API boundary and requires no changes to agent harnesses or model execution engines. Across four agentic workloads with Qwen3-32B on 4x H200 GPUs, DynBranch reduces mean latency by up to 32% over each workload's strongest prior system and by 46-66% against a no-reuse floor, while preserving workflow results. The benefit persists across backbone families and on a commodity Qwen3-8B/RTX 4090 deployment.
- Abstract(参考訳): エージェントLLMワークフローは実行時に実行パスを決定する。
下流の計算は予測可能であるか、前もって実行されていた可能性があるが、モデルやユーザがブランチを解決するまでは開始できない。
これを直列化を分岐分解能障壁と呼ぶ。
再利用可能な結果を特定するキーは、それまでは分かっていません。
本稿では,未解決分岐を解決前にアドレス化可能にするDynBranchを提案する。
その安定した座標により、候補のサブグラフは解像度中に実行され、完了したサブグラフの結果は後続の要求で再利用される。
2レベルコントローラは、期待される利益が負荷価格を超えると、この作業を認める。
DynBranchはモデルAPI境界にあり、エージェントハーネスやモデル実行エンジンを変更する必要はない。
4x H200 GPU上でQwen3-32Bを使用する4つのエージェントワークロードに対して、DynBranchは、ワークフロー結果を保存しながら、各ワークロードの最強の事前システムに対して、平均レイテンシを最大32%削減し、未使用のフロアに対して46-66%削減する。
このメリットは、バックボーンファミリやコモディティのQwen3-8B/RTX 4090デプロイメントに持続する。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-26T12:13:05Z) - Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers [0.0]
実行状態を維持して、実行を中断し、クラッシュを生き残るためのフレームワークは、すでに発生した影響に対して、再開が何を意味するのかを判断し続けなければなりません。
5つの広くデプロイされたエージェントワークフローフレームワークがそれぞれ異なる答えを出し、マシンチェック可能なコントラクトを公開することはない。
LangGraph 1.2.9は2度目の履歴書値を記録し、それを参照せず、無意味な状態を静かに持続し、実際のSIGKILLの後、永続的に記録された作業を再実行する。
論文 参考訳(メタデータ) (2026-08-04T15:45:31Z) - SPORK: Self-Speculative Forking to Accelerate Agentic LLM Inference [6.978795233982147]
SPORKは推測されたツールコールを早期にディスパッチし、残りのチェーン・オブ・ソート・デコードでその実行を重複させる。
SPORKは、推測されたツールコールを早期にディスパッチする、トレーニング不要のコントローラである。
論文 参考訳(メタデータ) (2026-07-03T13:51:32Z) - GRADE: Graph Representation of LLM Agent Dependency and Execution [6.230697997280125]
GRADEは、その欠落したレイヤを回復する: ステップノード上の任意の実行を1つのグラフとしてモデル化する。
依存関係層は、実行サイズが弱い障害を予測することができる。
実行層は、失敗したマルチエージェント実行における障害ステップをローカライズする。
論文 参考訳(メタデータ) (2026-06-22T01:03:21Z) - Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks? [3.636948650519796]
スモール言語モデル(SLM)はエージェント端末実行のタスクにおいてフロンティアモデルに匹敵する性能を達成できる。
教師付ファインタニング(SFT)と強化学習(RL)による訓練後Qwen3-4BモデルであるTerminus-4Bを提案する。
Terminus-4Bは、No Subagentベースラインと比較して、メインエージェントのトークン使用量を最大30%削減できることがわかった。
論文 参考訳(メタデータ) (2026-05-04T22:24:24Z) - VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation [98.38575149237442]
VLAA-GUIは3つの統合コンポーネントを中心に構築されたモジュラーGUIフレームワークである。
必須完全性検証は、UIで観測可能な成功基準と検証を、各完了ステップで実施する。
強制的なループブレーカは、繰り返し失敗した後、多層切替インタラクションモードを提供する。
論文 参考訳(メタデータ) (2026-04-23T07:42:37Z) - Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines [0.7551404527457958]
任意のマルチLLMエージェントをGPUクラスタに効率的にスケジュールする新しいエージェントサービスシステムについて述べる。
Scepsyは、LLMを独立して最適化するシステムと比較して、最大2.4倍のスループットと27倍のレイテンシを実現している。
論文 参考訳(メタデータ) (2026-04-16T16:15:29Z) - Acting in Delayed Environments with Non-Stationary Markov Policies [57.52103323209643]
本稿では,MDPにおける学習と計画のためのフレームワークについて紹介する。
実行が遅れると、元の状態空間における決定論的マルコフポリシーは最大報酬を得るのに十分であるが、非定常である必要があることを証明します。
我々は、状態拡張に頼らずに遅延実行タスクを解く非定常Q学習スタイルのモデルベースアルゴリズムを考案した。
論文 参考訳(メタデータ) (2021-01-28T13:35:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。