論文の概要: Agentic Predictor: Performance Prediction for Agentic Workflows via Multi-View Encoding

• arxiv url: http://arxiv.org/abs/2505.19764v1
• Date: Mon, 26 May 2025 09:46:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.338317
• Title: Agentic Predictor: Performance Prediction for Agentic Workflows via Multi-View Encoding
• Title（参考訳）: Agentic Predictor:マルチビューエンコーディングによるエージェントワークフローのパフォーマンス予測
• Authors: Patara Trirat, Wonyong Jeong, Sung Ju Hwang,
• Abstract要約: Agentic Predictorは、効率的なエージェントワークフロー評価のための軽量な予測器である。 Agentic Predictorはタスク成功率の近似を学ぶことで、最適なエージェントワークフロー構成の迅速かつ正確な選択を可能にする。
• 参考スコア（独自算出の注目度）: 56.565200973244146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities across diverse tasks, but optimizing LLM-based agentic systems remains challenging due to the vast search space of agent configurations, prompting strategies, and communication patterns. Existing approaches often rely on heuristic-based tuning or exhaustive evaluation, which can be computationally expensive and suboptimal. This paper proposes Agentic Predictor, a lightweight predictor for efficient agentic workflow evaluation. Agentic Predictor is equipped with a multi-view workflow encoding technique that leverages multi-view representation learning of agentic systems by incorporating code architecture, textual prompts, and interaction graph features. To achieve high predictive accuracy while significantly reducing the number of required workflow evaluations for training a predictor, Agentic Predictor employs cross-domain unsupervised pretraining. By learning to approximate task success rates, Agentic Predictor enables fast and accurate selection of optimal agentic workflow configurations for a given task, significantly reducing the need for expensive trial-and-error evaluations. Experiments on a carefully curated benchmark spanning three domains show that our predictor outperforms state-of-the-art methods in both predictive accuracy and workflow utility, highlighting the potential of performance predictors in streamlining the design of LLM-based agentic workflows.
• Abstract（参考訳）: 大規模言語モデル (LLM) は様々なタスクにまたがる顕著な能力を示しているが、エージェント構成の膨大な検索スペース、戦略の推進、通信パターンにより、LLMベースのエージェントシステムを最適化することは依然として困難である。 既存のアプローチは、しばしばヒューリスティックなチューニングや徹底的な評価に頼っている。 本稿では,効率的なエージェントワークフロー評価のための軽量予測器であるエージェント予測器を提案する。 Agentic Predictorは、コードアーキテクチャ、テキストプロンプト、相互作用グラフ機能を統合することでエージェントシステムのマルチビュー表現学習を活用するマルチビューワークフローエンコーディング技術を備えている。 予測器のトレーニングに必要なワークフロー評価回数を大幅に削減しつつ、高い予測精度を達成するために、エージェント予測器は、クロスドメインの教師なし事前学習を採用する。 エージェント予測器はタスク成功率の近似を学習することにより、与えられたタスクに対して最適なエージェントワークフロー構成を迅速かつ正確な選択を可能にし、高価な試行錯誤評価の必要性を大幅に低減する。 3つの領域にまたがる慎重にキュレートされたベンチマークの実験では、予測器は予測精度とワークフローユーティリティの両方において最先端の手法より優れており、LLMベースのエージェントワークフローの設計を合理化するパフォーマンス予測器の可能性を強調している。

関連論文リスト

• GNNs as Predictors of Agentic Workflow Performances [48.34485750450876]
  LLM(Large Language Models)によって起動されるエージェントは、複雑なタスクの処理において顕著な成功を収めた。 本稿では、エージェントを計算グラフとして定式化し、エージェント性能の効率的な予測因子としてグラフニューラルネットワーク(GNN)を提唱する。 エージェントワークフローのパフォーマンスを予測するため,GNNをベンチマークする統合プラットフォームであるFLORA-Benchを構築した。
  論文  参考訳（メタデータ） (2025-03-14T11:11:00Z)
• Unveiling Downstream Performance Scaling of LLMs: A Clustering-Based Perspective [5.09611816929943]
  大規模言語モデル(LLM)トレーニングのエスカレートスケールとコストは、下流タスク性能の正確な事前トレーニング予測を必要とする。 現在の予測手法には精度と信頼性が欠けている。 本稿では,下流性能予測のためのクラスタリングオンディフルティ(COD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-24T15:44:57Z)
• Towards more Contextual Agents: An extractor-Generator Optimization Framework [0.0]
  LLM(Large Language Model)ベースのエージェントは、幅広い汎用アプリケーションにわたる複雑なタスクの解決に顕著な成功を収めている。 しかしながら、それらのパフォーマンスは、専門産業や研究領域のようなコンテキスト固有のシナリオで劣化することが多い。 この課題に対処するため,本研究では,LLMエージェントの文脈適応性を高めるための体系的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-18T15:07:06Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。