論文の概要: Efficient Function Orchestration for Large Language Models

• arxiv url: http://arxiv.org/abs/2504.14872v1
• Date: Mon, 21 Apr 2025 05:57:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 19:26:13.070871
• Title: Efficient Function Orchestration for Large Language Models
• Title（参考訳）: 大規模言語モデルのための効率的な関数オーケストレーション
• Authors: Xiaoxia Liu, Peng Di, Cong Li, Jun Sun, Jingyi Wang,
• Abstract要約: 本稿では,大規模言語モデルにおける並列関数自動呼び出しのための高度なフレームワークであるLLMOrchを紹介する。 LLMOrchの鍵となる原則は、関数呼び出しを実行するために利用可能なプロセッサを特定することである。 最先端技術と比較すると、LLMOrchはI/O集約関数のオーケストレーションにおいて同等の効率向上を示した。
• 参考スコア（独自算出の注目度）: 10.061268352576406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Function calling is a fundamental capability of today's large language models, but sequential function calling posed efficiency problems. Recent studies have proposed to request function calls with parallelism support in order to alleviate this issue. However, they either delegate the concurrent function calls to users for execution which are conversely executed sequentially, or overlook the relations among various function calls, rending limited efficiency. This paper introduces LLMOrch, an advanced framework for automated, parallel function calling in large language models. The key principle behind LLMOrch is to identify an available processor to execute a function call while preventing any single processor from becoming overburdened. To this end, LLMOrch models the data relations (i.e., def-use) among different function calls and coordinates their executions by their control relations (i.e., mutual-exclusion) as well as the working status of the underlying processors. When comparing with state-of-the-art techniques, LLMOrch demonstrated comparable efficiency improvements in orchestrating I/O-intensive functions, while significantly outperforming (2$\times$) them with compute-intensive functions. LLMOrch's performance even showed a linear correlation to the number of allocated processors. We believe that these results highlight the potential of LLMOrch as an efficient solution for parallel function orchestration in the context of large language models.
• Abstract（参考訳）: 関数呼び出しは、今日の大きな言語モデルの基本的な機能であるが、シーケンシャル関数呼び出しは効率の問題を提起している。 近年,この問題を緩和するため,並列処理による関数呼び出しの要求が提案されている。 しかし、コンカレント関数呼び出しを順次実行するユーザに委譲するか、あるいはさまざまな関数呼び出し間の関係を見落とし、効率が制限される。 本稿では,大規模言語モデルにおける並列関数自動呼び出しのための高度なフレームワークであるLLMOrchを紹介する。 LLMOrchの鍵となる原則は、関数呼び出しを実行するために利用可能なプロセッサを特定することである。 この目的のために、LLMOrchは異なる関数呼び出し間でのデータ関係(すなわちデフユース)をモデル化し、それらの実行をそれらの制御関係(すなわち相互排除)と基礎となるプロセッサの動作状態によって調整する。 最先端技術と比較すると、LLMOrchはI/O集約関数のオーケストレーションにおいて同等の効率向上を示したが、計算集約関数では2$\times$で大幅に性能が向上した。 LLMOrchの性能は、割り当てられたプロセッサの数と線形な相関を示した。 これらの結果は,LLMOrchが大規模言語モデルにおける並列関数オーケストレーションの効率的なソリューションである可能性を強調している。

関連論文リスト

• Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
  本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。 鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
  論文  参考訳（メタデータ） (2025-04-21T22:29:02Z)
• Magnet: Multi-turn Tool-use Data Synthesis and Distillation via Graph Translation [85.68881632498909]
  本稿では,大規模言語モデルエージェントのための高品質なトレーニングトラジェクトリを合成するための原則的フレームワークを提案する。 このフレームワークは、関数シグネチャパスからクエリのシーケンスと実行可能な関数呼び出しへの自動的で反復的な変換に基づいている。 実験の結果,14BモデルであるMagnetic-14B-mDPOでは,BFCL-v3では68.01,ToolQueryでは73.30が得られた。
  論文  参考訳（メタデータ） (2025-03-10T20:13:07Z)
• ComplexFuncBench: Exploring Multi-Step and Constrained Function Calling under Long-Context Scenario [17.494787282066866]
  実世界の5つのシナリオにまたがる複雑な関数呼び出しのベンチマークである ComplexFuncBench を紹介する。 既存のベンチマークと比較すると、complexFuncBenchはマルチステップおよび制約付き関数呼び出しを含んでいる。 複雑な関数呼び出しタスクを定量的に評価するための自動フレームワークである ComplexEval を提案する。
  論文  参考訳（メタデータ） (2025-01-17T11:41:53Z)
• Improving Small-Scale Large Language Models Function Calling for Reasoning Tasks [0.8425561594225592]
  本研究では,関数呼び出しにおいて,より小さな言語モデルを訓練するための新しいフレームワークを提案する。 特定の論理的および数学的推論タスクに焦点を当てている。 このアプローチは,関数呼び出しによるこれらのタスクの小型モデルの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-10-24T16:27:35Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Granite-Function Calling Model: Introducing Function Calling Abilities via Multi-task Learning of Granular Tasks [35.97890508648945]
  我々はApache 2.0ライセンスの下で-20B-FUNCTIONCALLINGモデルを紹介します。 モデルは7つの基本的なタスクに対してマルチタスクトレーニングアプローチを使用してトレーニングされる。 20B-FUNCTIONCALLINGは、7つの異なる評価データセットにおいて、複数のタスクに対してより一般化可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-27T17:47:26Z)
• An LLM-Tool Compiler for Fused Parallel Function Calling [1.990293258268139]
  LLM(Large Language Models)における最先端のシーケンシャル推論は、会話タスク以外のCopilotの機能を複雑な関数呼び出しに拡張した。 LLM-Toolコンパイラは、実行時に単一の関数の下で同様のツール操作を融合し、LLMに統一的なタスクとして提示する。 大規模なCopilotプラットフォーム上でベンチマークされたLLM-Toolコンパイラは、既存のメソッドよりも最大4倍の並列呼び出しを実現し、トークンコストとレイテンシを最大40%と12%削減する。
  論文  参考訳（メタデータ） (2024-05-07T18:55:50Z)
• An LLM Compiler for Parallel Function Calling [68.04566807806071]
  我々は,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを紹介する。 ReActと比較して、一貫したレイテンシの高速化が3.7倍、コストの削減が6.7倍、精度が9%向上している。
  論文  参考訳（メタデータ） (2023-12-07T18:32:04Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。