論文の概要: AiFlow: Token-Native Reactive Orchestration with Bounded Backpressure for Streaming LLM Applications
- arxiv url: http://arxiv.org/abs/2608.00558v1
- Date: Sat, 01 Aug 2026 09:33:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 21:56:46.370436
- Title: AiFlow: Token-Native Reactive Orchestration with Bounded Backpressure for Streaming LLM Applications
- Title（参考訳）: AiFlow: LLMアプリケーションのストリーミングのためのバウンドバックプレッシャによるToken-Native Reactive Orchestration
- Authors: Qunhui Zhang,
- Abstract要約: 本稿では,プロバイダデルタを型付きContextT>イベントに正規化する,トークンネイティブなリアクティブオーケストレーションモデルであるAiFlowを提案する。
AiFlowはプロバイダ側のTTFTを変更しないが、アプリケーションTTFPTを70.9-94.7%削減し、宣言されたバウンダリ内でランタイム所有キューの深さを維持する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) applications increasingly operate as streaming workflows combining retrieval, tool calls, safety filters, and multi-agent coordination. Although contemporary frameworks expose provider deltas, workflow nodes often treat generation as coarse request-response steps, leaving queue management, worker allocation, ordering, and backpressure to ad hoc callback code. This paper presents AiFlow, a token-native reactive orchestration model that normalizes provider deltas into typed Context<T> events propagated through a directed streaming graph. Each node is managed by a Node Guardian that declares and enforces local queue bounds, worker concurrency, ordering, overflow policy, cancellation propagation, and retry discipline. We formalize the bounded-memory property, present the compilation from a compact DSL and JSON graph form, and provide static validation for type safety, state concurrency, and injection compatibility. Controlled microbenchmarks, captured DeepSeek trace replay (30 runs), descriptive online runs, LangGraph baselines, a streaming RAG workload, and an Ollama local-backend check show that AiFlow does not alter provider-side Model TTFT but reduces Application TTFPT by 70.9-94.7\% versus aggregation and keeps runtime-owned queue depth within declared bounds (93.7-96.5\% MaxQ reduction versus unbounded policies). The supplementary artifact contains scripts, raw traces, machine-readable tables, checksums, and an API-free smoke test; the public implementation is available through the FIT Framework repository.
- Abstract（参考訳）: 大規模言語モデル(LLM)アプリケーションは、検索、ツールコール、安全フィルタ、マルチエージェント調整を組み合わせたストリーミングワークフローとしてますます運用されている。
現代的なフレームワークはプロバイダのデルタを公開しているが、ワークフローノードはリクエスト応答の粗いステップとしてジェネレーションを扱い、キュー管理、ワーカーアロケーション、オーダリング、バックプレッシャをアドホックコールバックコードに残す。
本稿では,トークンネイティブなリアクティブオーケストレーションモデルであるAiFlowについて述べる。
各ノードはNode Guardianによって管理され、ローカルキューバウンダリ、ワーカー並行性、順序付け、オーバーフローポリシ、キャンセル伝搬、再試行の規律を宣言し、強制する。
我々は、境界メモリプロパティを形式化し、コンパクトなDSLとJSONグラフフォームからのコンパイルを示し、型安全性、状態の並行性、インジェクション互換性に対する静的な検証を提供する。
制御されたマイクロベンチマーク、DeepSeekトレースのリプレイ(30回の実行)、記述的なオンライン実行、LangGraphベースライン、ストリーミングRAGワークロード、Ollamaローカルバックエンドチェックは、AiFlowがプロバイダ側モデルTTFTを変更していないが、アグリゲーションに対してアプリケーションTTFPTを70.9-94.7\%削減し、宣言されたバウンド内でランタイム所有キューの深さを保持する(93.7-96.5\% MaxQ削減と無制限ポリシー)。
追加のアーティファクトには、スクリプト、生のトレース、マシン可読テーブル、チェックサム、APIなしのスモークテストが含まれている。
関連論文リスト
- DataFlow-Harness: A Grounded Code-Agent Platform for Constructing Editable LLM Data Pipelines [9.38656029481013]
我々は,LLMエージェントを案内して,プラットフォームネイティブな非巡回グラフを構築するプラットフォームであるtextscDataFlow-Harnessを紹介した。
12タスクのデータエンジニアリングベンチマークでは、textscDataFlow-Harnessが93.3%のエンドツーエンドパスレートを達成した。
論文 参考訳（メタデータ） (2026-07-18T03:30:19Z) - A Formal Hierarchical Architecture for Agentic Orchestration with Stack-Based Execution and Lazy Discovery [5.106901034158075]
本稿では,エージェントオーケストレーションのための階層的,スキルベースのアーキテクチャを提案する。
機能はルートツリーとして構成され、内部ノードがルーティング決定を行い、リーフノードが決定論的タスクを実行する。
グローバルメモリをローカライズされたスタックフレームに置き換えることで、ある実行ブランチからの出力が別の実行ブランチにリークすることを防ぐ。
論文 参考訳（メタデータ） (2026-07-13T06:15:51Z) - ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。
全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
論文 参考訳（メタデータ） (2026-06-30T06:06:08Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors [57.944744187489185]
外部修正をネイティブなアンマスクに置き換えるDiscreteRTCを提案する。
DiscreteRTCは、非同期のインペインティングのために0行のコードを実装するのが簡単で、スクラッチから生成したアクションに比べてわずか0.7倍の計算速度で推論が高速で、フローベースのRTCに比べて実世界の動的ピックタスクの成功率が50%向上した。
論文 参考訳（メタデータ） (2026-04-27T23:04:03Z) - GraphBit: A Graph-based Agentic Framework for Non-Linear Agent Orchestration [34.588097323063074]
GraphBitは、明示的に決定的に有向非巡回グラフ(DAG)として定義するエンジンオーケストレーションフレームワークである。
インシデントオーケストレーションとは異なり、GraphBitのエージェントは型付き関数として動作し、Rustベースのエンジンはルーティング、状態遷移、ツール呼び出しを制御し、監査性を保証する。
一時的なスクラッチスペース、構造化状態、外部コネクタで構成される3層メモリアーキテクチャは、ステージ間でコンテキストを分離し、長時間実行中のパイプラインにおける推論を低下させるカスケードコンテキストを防止する。
論文 参考訳（メタデータ） (2026-03-08T18:32:28Z) - DyFlow: Dynamic Workflow Framework for Agentic Reasoning [79.19799197382478]
DyFlowは動的ワークフロー生成フレームワークで、タスク要求とリアルタイム中間フィードバックに基づいて推論手順を適応的に構築し、調整する。
社会的推論,生物医学的タスク,数学的問題解決,コード生成など,さまざまな領域でDyFlowを体系的に評価する。
結果は、DyFlowが既存のベースラインを大幅に上回り、Pass@kの改善を実現し、さまざまなドメインにわたって堅牢な一般化を示すことを示した。
論文 参考訳（メタデータ） (2025-09-30T10:36:23Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
論文 参考訳（メタデータ） (2024-10-10T12:41:19Z) - Online Joint Fine-tuning of Multi-Agent Flows [12.851745991007169]
本稿では,ラーニング・トゥ・サーチフレームワークに触発された全フローのオンライン共同微調整手順について述べる。
このアプローチはシミュレータアクセスを活用して、エピソード全体の好みを減らし、個々のノード出力よりも好みを減らします。
私は、最先端の結果を達成するためのマルチホップQAデータセットMuseicに適用します。
論文 参考訳（メタデータ） (2024-06-06T21:21:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。