論文の概要: Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs

• arxiv url: http://arxiv.org/abs/2605.15077v1
• Date: Thu, 14 May 2026 17:02:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.964579
• Title: Concurrency without Model Changes: Future-based Asynchronous Function Calling for LLMs
• Title（参考訳）: モデル変更のない並行性: LLM に対する将来型非同期関数呼び出し
• Authors: Guangyu Feng, Huanzhi Mao, Prabal Dutta, Joseph E. Gonzalez,
• Abstract要約: AsyncFCは、LLMデコードと関数実行を分離する純粋な実行層フレームワークである。 AsyncFCはタスクの正確性を維持しながら、エンドツーエンドのタスク完了時間を著しく短縮する。
• 参考スコア（独自算出の注目度）: 27.87966725448941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Function calling, also known as tool use, is a core capability of modern LLM agents but is typically constrained by synchronous execution semantics. Under these semantics, LLM decoding is blocked until each function call completes, resulting in increasing end-to-end latency. In this work, we introduce AsyncFC, a pure execution-layer framework that decouples LLM decoding from function execution, enabling overlap between model decoding and function execution as well as inter-function parallelism when dependencies permit. AsyncFC layers over existing models and unmodified function implementations, requiring no fine-tuning or changes to the standard synchronous function-calling protocol. Across standard function-calling benchmarks and adapted software engineering benchmarks, AsyncFC significantly reduces end-to-end task completion time while preserving task accuracy. Furthermore, these results reveal that LLMs possess a native capability to reason over symbolic futures that represent unresolved execution results, enabling an asynchronous paradigm for model-tool interaction.
• Abstract（参考訳）: 関数呼び出しはツール・ユースとしても知られ、現代のLLMエージェントの中核機能であるが、通常同期実行セマンティクスによって制限される。 これらのセマンティクスの下では、各関数呼び出しが完了するまでLLMデコーディングはブロックされ、結果としてエンドツーエンドのレイテンシが増加する。 本稿では,関数実行からLLMデコーディングを分離する純粋な実行層フレームワークであるAsyncFCを紹介する。 AsyncFCレイヤは既存のモデルと修正されていない関数の実装の上にあり、微調整や標準の同期関数呼び出しプロトコルの変更は不要である。 標準の関数呼び出しベンチマークと適応されたソフトウェアエンジニアリングベンチマーク全体において、AsyncFCはタスクの正確性を維持しながら、エンドツーエンドのタスク完了時間を著しく短縮する。 さらに、これらの結果から、LLMは未解決の実行結果を表す象徴的な未来を推論するネイティブな能力を有しており、モデルとツールの相互作用の非同期パラダイムを可能にしていることが明らかとなった。

関連論文リスト

• DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors [57.944744187489185]
  外部修正をネイティブなアンマスクに置き換えるDiscreteRTCを提案する。 DiscreteRTCは、非同期のインペインティングのために0行のコードを実装するのが簡単で、スクラッチから生成したアクションに比べてわずか0.7倍の計算速度で推論が高速で、フローベースのRTCに比べて実世界の動的ピックタスクの成功率が50%向上した。
  論文  参考訳（メタデータ） (2026-04-27T23:04:03Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• Efficient Function Orchestration for Large Language Models [20.386031702654513]
  本稿では,大規模言語モデルにおける並列関数自動呼び出しのための高度なフレームワークであるLLMOrchを紹介する。 LLMOrchの鍵となる原則は、関数呼び出しを実行するために利用可能なプロセッサを特定することである。 最先端技術と比較すると、LLMOrchはI/O集約関数のオーケストレーションにおいて同等の効率向上を示した。
  論文  参考訳（メタデータ） (2025-04-21T05:57:34Z)
• Asynchronous LLM Function Calling [1.447413712290616]
  AsyncLMは、非同期大言語モデル(LLM)関数呼び出しのためのシステムである。 AsyncLMは同期関数呼び出しと比較して、エンドツーエンドのタスク完了遅延を1.6x-5.4xに削減できることを示す。
  論文  参考訳（メタデータ） (2024-12-09T21:53:10Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• An LLM Compiler for Parallel Function Calling [68.04566807806071]
  我々は,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを紹介する。 ReActと比較して、一貫したレイテンシの高速化が3.7倍、コストの削減が6.7倍、精度が9%向上している。
  論文  参考訳（メタデータ） (2023-12-07T18:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。