論文の概要: Designing Agentic AI Workflow Portfolios under Imperfect Selection and Compute Cost
- arxiv url: http://arxiv.org/abs/2609.18126v1
- Date: Wed, 16 Sep 2026 05:02:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.638154
- Title: Designing Agentic AI Workflow Portfolios under Imperfect Selection and Compute Cost
- Title(参考訳): 不完全な選択と計算コストによるエージェントAIワークフローポートフォリオの設計
- Abstract要約: 本稿では,企業が複数のワークフローを実行するポートフォリオ・アンド・セレクタパラダイムについて検討し,最終回答を選択する。
我々は、正確な定式化、線形プログラミング緩和、ランダム化されたラウンドリング手順、計算可能な性能証明を開発する。
最高のスタンドアロンワークフローとは対照的に、ポートフォリオ最適化では、それぞれ3.1、7.5、0.9ポイントのホールドアウトセレクタ精度が向上している。
- 参考スコア(独自算出の注目度): 6.605722864302966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic AI systems often approach the same task through multiple workflows that differ in reasoning strategy, verification structure, and compute cost. A natural deployment policy is to use the workflow with the highest average performance, but this can be suboptimal because different workflows may succeed on different instances. We study a portfolio-and-selector paradigm in which a firm runs multiple workflow executions and selects the final answer after observing their outputs. Additional executions may uncover correct answers that the best standalone workflow misses, but they consume compute and introduce plausible distractors that complicate final selection. We formulate this as a workflow portfolio problem in which the firm jointly chooses run size and allocation across workflow types. We summarize selector quality through an odds-lift index and derive sharp bounds on the value of workflow variety. For finite workflow pools, we develop exact formulations, linear programming relaxations, randomized rounding procedures, and computable performance certificates. For large implicit workflow classes, we derive a finite-dimensional dual and an ellipsoid method using a pricing oracle to identify workflows with high weighted accuracy net of recurring compute cost. Under a weak condition, the method obtains a near-optimal solution to the relaxation with polynomially many oracle calls. We evaluate the framework on three datasets: ABCD, Schema-Guided Dialogue, and HotpotQA. Relative to the best standalone workflow, portfolio optimization improves held-out selector accuracy by 3.1, 7.5, and 0.9 percentage points, respectively. Dual-guided workflow generation adds 3.5 points on ABCD and 24.1 on HotpotQA, with no additional gain on Schema-Guided Dialogue.
- Abstract(参考訳): エージェントAIシステムは、推論戦略、検証構造、計算コストが異なる複数のワークフローを通じて、しばしば同じタスクにアプローチする。
自然なデプロイメントポリシは、ワークフローを最高の平均パフォーマンスで使用することだが、異なるワークフローが異なるインスタンスで成功する可能性があるため、これは亜最適である可能性がある。
本研究では,企業が複数のワークフローを実行するポートフォリオ・アンド・セレクタのパラダイムについて検討し,そのアウトプットを観察して最終回答を選択する。
追加の実行によって、最高のスタンドアロンワークフローが見逃す正しい答えが明らかになるかも知れませんが、計算を消費し、最終的な選択を複雑にする可視性イントラクタを導入します。
私たちはこれをワークフローポートフォリオの問題として定式化し、企業はワークフロータイプをまたいだ実行サイズとアロケーションを共同で選択します。
我々は,オッズリフト指標を用いてセレクタの品質を要約し,ワークフロー変数の値にシャープな境界を導出する。
有限ワークフロープールに対して、正確な定式化、線形プログラミング緩和、ランダム化されたラウンドリング手順、計算可能な性能証明を開発する。
大規模な暗黙的ワークフロークラスに対しては、計算コストが繰り返される重み付き精度の高いワークフローを識別するために、価格オラクルを用いた有限次元双対と楕円体法を導出する。
弱条件下では、多項式的に多くのオラクル呼び出しで緩和に最適に近い解を求める。
ABCD、Schema-Guided Dialogue、HotpotQAの3つのデータセット上でフレームワークを評価する。
最高のスタンドアロンワークフローとは対照的に、ポートフォリオ最適化では、それぞれ3.1、7.5、0.9ポイントのホールドアウトセレクタ精度が向上している。
Dual-Guidedワークフロー生成ではABCDでは3.5ポイント、HotpotQAでは24.1ポイントが追加されるが、Schema-Guided Dialogueでは追加の利得はない。
関連論文リスト
- FlowBank: Query-Adaptive Agentic Workflows Optimization through Precompute-and-Reuse [58.80348559239392]
大規模言語モデル(LLM)ベースのマルチエージェントシステムはますます強力になっている。
タスクレベルのメソッドはかなりのオフライン計算に費やしますが、単一のワークフローのみをデプロイします。
クエリレベルのメソッドは、クエリ毎の新しいワークフローを相当なコストで合成する。
本稿では,ポートフォリオベースのエージェントワークフロー最適化フレームワークであるFlowBankを紹介する。
論文 参考訳(メタデータ) (2026-06-09T17:58:21Z) - Do We Always Need Query-Level Workflows? Rethinking Agentic Workflow Generation for Multi-Agent Systems [72.3575737073235]
マルチエージェントシステム(MAS)は、複数のエージェントを協調することで複雑なタスクを解決する。
既存のアプローチはタスクレベルかクエリレベルで生成されるが、その相対的なコストと利点は未だ不明である。
クエリレベルのワークフロー生成は必ずしも必要ではない、なぜなら、トップKレベルのタスクレベルの小さなセットが、すでに同等あるいはそれ以上のクエリをカバーしているからだ。
論文 参考訳(メタデータ) (2026-01-16T10:05:51Z) - DyFlow: Dynamic Workflow Framework for Agentic Reasoning [79.19799197382478]
DyFlowは動的ワークフロー生成フレームワークで、タスク要求とリアルタイム中間フィードバックに基づいて推論手順を適応的に構築し、調整する。
社会的推論,生物医学的タスク,数学的問題解決,コード生成など,さまざまな領域でDyFlowを体系的に評価する。
結果は、DyFlowが既存のベースラインを大幅に上回り、Pass@kの改善を実現し、さまざまなドメインにわたって堅牢な一般化を示すことを示した。
論文 参考訳(メタデータ) (2025-09-30T10:36:23Z) - Cognify: Supercharging Gen-AI Workflows With Hierarchical Autotuning [6.328780056857816]
複数のMLモデルコール、ツール/APIコール、データ検索、ジェネリックコード実行を含むgen-AIは、しばしばアドホックな方法で手動でチューニングされる。
AdaSeekは、ユーザが指定した全検索予算に基づいて、ワークフローチューニング方法を異なるレイヤに整理する。
Cognifyはワークフローの生成品質を最大2.8倍に改善し、実行費用を最大10倍に削減し、エンドツーエンドのレイテンシを2.7倍に削減する。
論文 参考訳(メタデータ) (2025-02-12T01:36:27Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
論文 参考訳(メタデータ) (2024-10-10T12:41:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。