論文の概要: Cognify: Supercharging Gen-AI Workflows With Hierarchical Autotuning

• arxiv url: http://arxiv.org/abs/2502.08056v1
• Date: Wed, 12 Feb 2025 01:36:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:49:13.698907
• Title: Cognify: Supercharging Gen-AI Workflows With Hierarchical Autotuning
• Title（参考訳）: Cognify:階層的自動チューニングによるGen-AIワークフローのスーパーチャージ
• Authors: Zijian He, Reyna Abhyankar, Vikranth Srivatsa, Yiying Zhang,
• Abstract要約: 複数のMLモデルコール、ツール/APIコール、データ検索、ジェネリックコード実行を含むgen-AIは、しばしばアドホックな方法で手動でチューニングされる。 AdaSeekは、ユーザが指定した全検索予算に基づいて、ワークフローチューニング方法を異なるレイヤに整理する。 Cognifyはワークフローの生成品質を最大2.8倍に改善し、実行費用を最大10倍に削減し、エンドツーエンドのレイテンシを2.7倍に削減する。
• 参考スコア（独自算出の注目度）: 6.328780056857816
• License:
• Abstract: Today's gen-AI workflows that involve multiple ML model calls, tool/API calls, data retrieval, or generic code execution are often tuned manually in an ad-hoc way that is both time-consuming and error-prone. In this paper, we propose a systematic approach for automatically tuning gen-AI workflows. Our key insight is that gen-AI workflows can benefit from structure, operator, and prompt changes, but unique properties of gen-AI workflows require new optimization techniques. We propose AdaSeek, an adaptive hierarchical search algorithm for autotuning gen-AI workflows. AdaSeek organizes workflow tuning methods into different layers based on the user-specified total search budget and distributes the budget across different layers based on the complexity of each layer. During its hierarchical search, AdaSeek redistributes the search budget from less useful to more promising tuning configurations based on workflow-level evaluation results. We implement AdaSeek in a workflow autotuning framework called Cognify and evaluate Cognify using six types of workflows such as RAG-based QA and text-to-SQL transformation. Overall, Cognify improves these workflows' generation quality by up to 2.8x, reduces execution monetary cost by up to 10x, and reduces end-to-end latency by 2.7x.
• Abstract（参考訳）: 複数のMLモデルコール、ツール/APIコール、データ検索、ジェネリックコード実行を含む、今日のgen-AIワークフローは、しばしば、時間とエラーが発生しやすいアドホックな方法で手動でチューニングされる。 本稿では,gen-AIワークフローを自動チューニングするための体系的アプローチを提案する。 私たちの重要な洞察は、gen-AIワークフローは構造、オペレータ、即時的な変更の恩恵を受けることができるということですが、gen-AIワークフローのユニークな特性は、新しい最適化技術を必要とします。 本稿では,AIワークフローの自動チューニングのための適応型階層探索アルゴリズムであるAdaSeekを提案する。 AdaSeekは、ユーザが指定した全検索予算に基づいて、ワークフローチューニングメソッドを異なるレイヤに整理し、各レイヤの複雑さに基づいて、異なるレイヤに分散する。 階層的な検索の間、AdaSeekはワークフローレベルの評価結果に基づいて、検索予算をあまり役に立たないものから、より有望なチューニング設定へと再分配する。 我々は、Cognifyと呼ばれるワークフロー自動チューニングフレームワークにAdaSeekを実装し、RAGベースのQAやテキストからSQLへの変換といった6種類のワークフローを使用して、Cognifyを評価する。 全体として、Cagnifyはワークフローの生成品質を2.8倍に改善し、実行費用を最大10倍に削減し、エンドツーエンドのレイテンシを2.7倍に削減する。

関連論文リスト

• EvoFlow: Evolving Diverse Agentic Workflows On The Fly [21.82515160298748]
  EvoFlowは、複雑で異質なエージェントの集団を自動的に検索する、ニッチな進化アルゴリズムベースのフレームワークである。 EvoFlowは、単純なI/Oタスクから複雑なマルチターンインタラクションまで、多くの個体群を進化させることができる。
  論文  参考訳（メタデータ） (2025-02-11T08:48:46Z)
• ScoreFlow: Mastering LLM Agent Workflows via Score-based Preference Optimization [51.280919773837645]
  エージェントワークフロー最適化のための高性能フレームワークであるScoreFlowを開発した。 ScoreFlowは、量的フィードバックを考慮に入れた直接選好最適化手法の新たな変種であるScore-DPOを組み込んでいる。 質問応答、コーディング、数学的推論を通じて、既存のベースラインよりも8.2%改善されている。
  論文  参考訳（メタデータ） (2025-02-06T18:47:49Z)
• Flow: A Modular Approach to Automated Agentic Workflow Generation [53.073598156915615]
  大規模言語モデル(LLM)を利用したマルチエージェントフレームワークは、自動計画とタスク実行において大きな成功を収めている。 しかし,実行中のエージェントの効果的な調整は十分に研究されていない。
  論文  参考訳（メタデータ） (2025-01-14T04:35:37Z)
• Opus: A Large Work Model for Complex Workflow Generation [0.0]
  Opusは、複雑なビジネスプロセスアウトソーシング(BPO)ユースケースに適したタスクの生成と最適化のためのフレームワークである。 このアプローチでは、クライアント入力、クライアント出力、プロセス指向コンテキストのアライメントとして定義されたインテンションから実行ファイルを生成します。
  論文  参考訳（メタデータ） (2024-11-30T20:00:41Z)
• WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
  ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。 最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。 LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
  論文  参考訳（メタデータ） (2024-11-08T09:58:02Z)
• AFlow: Automating Agentic Workflow Generation [36.61172223528231]
  大規模言語モデル(LLM)は、様々な領域にわたる複雑なタスクを解く上で、顕著な可能性を示している。 我々は、Monte Carlo Tree Searchを使って、この空間を効率的に探索する自動化フレームワークであるAFlowを紹介します。 6つのベンチマークデータセットに対する実証的な評価は、AFlowの有効性を示し、最先端のベースラインよりも平均5.7%向上している。
  論文  参考訳（メタデータ） (2024-10-14T17:40:40Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• ComfyGen: Prompt-Adaptive Workflows for Text-to-Image Generation [87.39861573270173]
  本稿では,各ユーザプロンプトに自動的にワークフローをカスタマイズすることを目的とする,プロンプト適応型ワークフロー生成の新しいタスクを紹介する。 本稿では,この課題に対処する2つの LLM ベースの手法を提案する。ユーザ・参照データから学習するチューニングベース手法と,既存のフローを選択するために LLM を使用するトレーニングフリー手法である。 本研究は,現場における既存研究の方向性を補完し,テキスト・画像生成の品質向上のための新たな経路を提供することを示す。
  論文  参考訳（メタデータ） (2024-10-02T16:43:24Z)
• Grammar-based evolutionary approach for automated workflow composition with domain-specific operators and ensemble diversity [0.36832029288386137]
  本稿では,自動ワークフロー合成(AWC)のための文法に基づく進化的アプローチであるEvoFlowを紹介する。 EvoFlowはワークフロー構造を設計する際の柔軟性を強化し、実践者が自身の要求に最も適したアルゴリズムを選択することを可能にする。 以上の結果から,EvoFlowの遺伝的演算子と更新機構が,現在の先行手法よりも大幅に優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-03T11:29:14Z)
• Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines [48.7576911714538]
  提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。 パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。 このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
  論文  参考訳（メタデータ） (2021-06-26T23:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。