論文の概要: GNNs as Predictors of Agentic Workflow Performances

• arxiv url: http://arxiv.org/abs/2503.11301v1
• Date: Fri, 14 Mar 2025 11:11:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:35.844348
• Title: GNNs as Predictors of Agentic Workflow Performances
• Title（参考訳）: エージェントワークフローパフォーマンスの予測子としてのGNN
• Authors: Yuanshuo Zhang, Yuchen Hou, Bohan Tang, Shuo Chen, Muhan Zhang, Xiaowen Dong, Siheng Chen,
• Abstract要約: LLM(Large Language Models)によって起動されるエージェントは、複雑なタスクの処理において顕著な成功を収めた。 本稿では、エージェントを計算グラフとして定式化し、エージェント性能の効率的な予測因子としてグラフニューラルネットワーク(GNN)を提唱する。 エージェントワークフローのパフォーマンスを予測するため,GNNをベンチマークする統合プラットフォームであるFLORA-Benchを構築した。
• 参考スコア（独自算出の注目度）: 48.34485750450876
• License:
• Abstract: Agentic workflows invoked by Large Language Models (LLMs) have achieved remarkable success in handling complex tasks. However, optimizing such workflows is costly and inefficient in real-world applications due to extensive invocations of LLMs. To fill this gap, this position paper formulates agentic workflows as computational graphs and advocates Graph Neural Networks (GNNs) as efficient predictors of agentic workflow performances, avoiding repeated LLM invocations for evaluation. To empirically ground this position, we construct FLORA-Bench, a unified platform for benchmarking GNNs for predicting agentic workflow performances. With extensive experiments, we arrive at the following conclusion: GNNs are simple yet effective predictors. This conclusion supports new applications of GNNs and a novel direction towards automating agentic workflow optimization. All codes, models, and data are available at https://github.com/youngsoul0731/Flora-Bench.
• Abstract（参考訳）: LLM(Large Language Models)によって起動されるエージェントワークフローは、複雑なタスクを扱う上で大きな成功を収めています。 しかし、そのようなワークフローの最適化は、LLMの広範な呼び出しのため、現実世界のアプリケーションではコストがかかり非効率である。 このギャップを埋めるために、このポジションペーパーはエージェントワークフローを計算グラフとして定式化し、エージェントワークフローのパフォーマンスの効率的な予測としてグラフニューラルネットワーク(GNN)を提唱する。 FLORA-Benchはエージェントワークフローのパフォーマンスを予測するためのGNNをベンチマークする統合プラットフォームである。 GNNは単純だが効果的な予測器である。 この結論は、GNNの新たな応用と、エージェントワークフロー最適化の自動化に向けた新しい方向性を支持する。 すべてのコード、モデル、データはhttps://github.com/youngsoul0731/Flora-Bench.comで入手できる。

関連論文リスト

• ScoreFlow: Mastering LLM Agent Workflows via Score-based Preference Optimization [51.280919773837645]
  エージェントワークフロー最適化のための高性能フレームワークであるScoreFlowを開発した。 ScoreFlowは、量的フィードバックを考慮に入れた直接選好最適化手法の新たな変種であるScore-DPOを組み込んでいる。 質問応答、コーディング、数学的推論を通じて、既存のベースラインよりも8.2%改善されている。
  論文  参考訳（メタデータ） (2025-02-06T18:47:49Z)
• WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
  ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。 最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。 LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
  論文  参考訳（メタデータ） (2024-11-08T09:58:02Z)
• AFlow: Automating Agentic Workflow Generation [36.61172223528231]
  大規模言語モデル(LLM)は、様々な領域にわたる複雑なタスクを解く上で、顕著な可能性を示している。 我々は、Monte Carlo Tree Searchを使って、この空間を効率的に探索する自動化フレームワークであるAFlowを紹介します。 6つのベンチマークデータセットに対する実証的な評価は、AFlowの有効性を示し、最先端のベースラインよりも平均5.7%向上している。
  論文  参考訳（メタデータ） (2024-10-14T17:40:40Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• How to Make LLMs Strong Node Classifiers? [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• LOGIN: A Large Language Model Consulted Graph Neural Network Training Framework [30.54068909225463]
  我々は,GNN設計プロセスの合理化とLarge Language Models(LLM)の利点を活用して,下流タスクにおけるGNNの性能向上を目指す。 我々は,LLMs-as-Consultants(LLMs-as-Consultants)という新たなパラダイムを策定し,LLMとGNNを対話的に統合する。 両グラフのノード分類におけるLOGINの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-05-22T18:17:20Z)
• FlowMind: Automatic Workflow Generation with LLMs [12.848562107014093]
  本稿では,Large Language Models(LLM)の機能を活用した新しいアプローチであるFlowMindを紹介する。 信頼性のあるアプリケーションプログラミングインタフェース(API)を用いたLLM推論を支援する講義のための汎用的なプロンプトレシピを提案する。 また、N-CENレポートからの質問応答タスクをベンチマークするための金融の新しいデータセットであるNCEN-QAについても紹介する。
  論文  参考訳（メタデータ） (2024-03-17T00:36:37Z)
• TEP-GNN: Accurate Execution Time Prediction of Functional Tests using Graph Neural Networks [5.899031548148629]
  我々は,TEP-GNNと呼ばれる予測モデルを提案し,精度の高い性能予測が可能であることを実証した。 TEP-GNNは、グラフベースのコード表現アプローチとしてFA-ASTまたはフロー拡張ASTを使用する。 プロジェクト公開リポジトリから抽出した922のテストファイルに基づいて,4つのJavaオープンソースプログラムを用いてTEP-GNNを評価した。
  論文  参考訳（メタデータ） (2022-08-25T09:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。