論文の概要: JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs

• arxiv url: http://arxiv.org/abs/2610.03296v1
• Date: Fri, 02 Oct 2026 13:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.399119
• Title: JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs
• Title（参考訳）: JOVE: LLMタスクグラフのための共同実行と検証
• Abstract要約: 実際には、あるサブタスクに対するLLMの適合性は事前不明であり、実行だけで出力の正確性を明らかにすることはない。 LLMを共同で割り当て、有償検証のための中間出力を選択するオンラインフレームワークJOVEを提案する。 4つの推論ベンチマークで、JOVEは平均コストとレイテンシを少なくとも3.17倍に削減しながら、標準推論ベースラインに対する競争精度を達成している。
• 参考スコア（独自算出の注目度）: 36.76224908026635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Complex reasoning queries can be decomposed into directed acyclic task graphs and distributed across heterogeneous LLMs, reducing latency through parallelism and enabling smaller models to solve complex tasks. In practice, however, the suitability of an LLM for a given subtask may be a priori unknown, and execution alone does not reveal output correctness. We propose JOVE, an online framework that jointly assigns executor LLMs and selects intermediate outputs for paid verification. Verification runs asynchronously and is used to improve future allocations, so the system must balance spending on execution now against learning for later. We study how to optimize this trade-off under a long-term budget and a per-query latency constraint, with stochastic, initially unknown LLM service quality, invocation costs, and execution times. JOVE makes execution and verification decisions by solving a sequence of per-query mixed-integer linear programs. Online learning updates task-dependent estimates of LLM quality based on verification feedback, while an information-gain bonus incorporates the value of learning into allocation decisions. Under a natural set of assumptions, we establish sublinear quality-learning regret for JOVE. Across four reasoning benchmarks, JOVE achieves competitive accuracy against standard inference baselines while reducing average cost and latency by at least 3.17 times.
• Abstract（参考訳）: 複雑な推論クエリは、有向非巡回的なタスクグラフに分解され、異種LSMに分散し、並列処理による遅延を低減し、より小さなモデルで複雑なタスクを解くことができる。 しかし、実際には、あるサブタスクに対する LLM の適合性は事前不明であり、実行だけでは出力の正確性を明らかにしない。 JOVE は,実行者 LLM を共同で割り当て,有償検証のための中間出力を選択するオンラインフレームワークである。 検証は非同期で実行され、将来のアロケーションを改善するために使用される。 我々は、このトレードオフを長期予算とクエリ毎のレイテンシ制約の下で最適化する方法を、確率的、当初未知のLLMサービス品質、呼び出しコスト、実行時間で検討する。 JOVEは、クエリごとの混合整数線形プログラムのシーケンスを解くことで、実行と検証の意思決定を行う。 オンライン学習は、検証フィードバックに基づくLCM品質のタスク依存見積を更新する一方、情報ゲインボーナスは、学習の価値を割り当て決定に組み込む。 仮定の自然なセットの下で、JOVEに対するサブリニアな品質学習の後悔を確立する。 4つの推論ベンチマークで、JOVEは平均コストとレイテンシを少なくとも3.17倍に削減しながら、標準推論ベースラインに対する競争精度を達成している。

関連論文リスト

• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Execution-Verified Reinforcement Learning for Optimization Modeling [49.171122807323634]
  実行検証学習フレームワークは、数学的プログラミング解法を決定論的で対話的な検証器として扱う。 NL4OPT, MAMO, IndustryOR, OptiBenchをグロビ, OR-Tools, COPTで行った実験では, EVOMがプロセス管理SFTに適合または優れていた。
  論文  参考訳（メタデータ） (2026-04-01T03:39:11Z)
• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• Prompt-Aware Scheduling for Low-Latency LLM Serving [4.410280212028576]
  本稿では,PLMタスクスケジューラPARSを紹介する。 最短ジョブ優先(SJF)スケジューリングを、ペアのランキングとマージンランキングの損失で近似する。 応答長ベースのタスク順序付けを効果的に予測し、オーバーヘッドを最小限に抑えてレイテンシを低減する。
  論文  参考訳（メタデータ） (2025-09-25T07:26:38Z)
• OmniRouter: Budget and Performance Controllable Multi-LLM Routing [31.60019342381251]
  大規模言語モデル(LLM)は優れた性能を提供するが、かなりの計算資源を必要とし、比較的低効率で運用する。 マルチLLMサービスのための制御可能なルーティングフレームワークであるOmniを紹介する。 実験の結果、Omniは応答精度を最大6.30%改善し、同時に計算コストを少なくとも10.15%削減した。
  論文  参考訳（メタデータ） (2025-02-27T22:35:31Z)
• MixLLM: Dynamic Routing in Mixed Large Language Models [57.309520357563215]
  大規模言語モデル(LLM)は、最近、人工知能の可能性を秘めている。 問合せ-LLM代入のための動的コンテキスト帯域ベースのルーティングシステムであるMixLLMを開発した。
  論文  参考訳（メタデータ） (2025-02-09T02:26:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。