論文の概要: QualityFlow: An Agentic Workflow for Program Synthesis Controlled by LLM Quality Checks

• arxiv url: http://arxiv.org/abs/2501.17167v2
• Date: Mon, 24 Mar 2025 19:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:52:42.044397
• Title: QualityFlow: An Agentic Workflow for Program Synthesis Controlled by LLM Quality Checks
• Title（参考訳）: QualityFlow: LLM品質チェックによって制御されたプログラム合成のためのエージェントワークフロー
• Authors: Yaojie Hu, Qiang Zhou, Qihong Chen, Xiaopeng Li, Linbo Liu, Dejiao Zhang, Amit Kachroo, Talha Oz, Omer Tripp,
• Abstract要約: QualityFlowはプログラム合成のための動的エージェントワークフローである。 Quality Checkerは、正しいプログラム、不完全な合成テストを受け入れ、ワークフローの逸脱を防ぐことができる。
• 参考スコア（独自算出の注目度）: 14.251006141747913
• License:
• Abstract: We introduce QualityFlow, a dynamic agentic workflow for program synthesis. Given the English description of a programming problem and a set of unit tests, the model's goal is to synthesize the correct program that solves the problem and passes the tests. QualityFlow includes large language model (LLM) agents resembling a software development team, including code generation, testing, and self-debugging. We propose the LLM Quality Checker, which explicitly "imagines" whether the synthesized programs' execution would conform to the unit tests. The Quality Checks dynamically control the workflow, including actions to submit the final answer, clarify the problem statement, and revert previous workflow steps. Our experiments show that the Quality Checker can precisely accept any correct program, mitigate faulty synthesized tests, and prevent potential workflow deviation. QualityFlow establishes the state-of-the-art results on four program synthesis benchmarks: MBPP, HumanEval, and stricter evaluations from MBPP-EvalPlus and HumanEval-EvalPlus.
• Abstract（参考訳）: プログラム合成のための動的エージェントワークフローであるQualityFlowを紹介する。 プログラミング問題の英語説明と単体テストのセットを考えると、モデルの目標は、問題の解決とテストをパスする正しいプログラムを合成することである。 QualityFlowには、コード生成、テスト、自己デバッグを含む、ソフトウェア開発チームに似た大きな言語モデル(LLM)エージェントが含まれている。 合成プログラムの実行が単体テストに適合するかどうかを明示的に「想像」するLLM品質チェッカーを提案する。 品質チェックはワークフローを動的に制御し、最終回答を提出し、問題ステートメントを明確にし、以前のワークフローステップを逆転させるアクションを含む。 実験の結果,Quality Checkerは正しいプログラムを正確に受け入れ,欠陥のある合成テストを緩和し,ワークフローの逸脱を防止できることがわかった。 QualityFlowは、MBPP、HumanEval、およびMBPP-EvalPlusとHumanEval-EvalPlusによるより厳密な評価の4つのプログラム合成ベンチマークで、最先端の結果を確立している。

関連論文リスト

• The Potential of LLMs in Automating Software Testing: From Generation to Reporting [0.0]
  手動テストは効果的だが、時間とコストがかかり、自動化メソッドの需要が増大する。 大規模言語モデル(LLM)の最近の進歩は、ソフトウェア工学に大きな影響を与えている。 本稿では,人間の介入を減らし,テスト効率を向上させるため,LSMを用いた自動ソフトウェアテストに対するエージェント指向アプローチについて検討する。
  論文  参考訳（メタデータ） (2024-12-31T02:06:46Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Attribute Controlled Fine-tuning for Large Language Models: A Case Study on Detoxification [76.14641982122696]
  本稿では,属性制御付き大規模言語モデル(LLM)の制約学習スキーマを提案する。 提案手法は, ベンチマーク上での競合性能と毒性検出タスクを達成しながら, 不適切な応答を少ないLCMに導出することを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:38:58Z)
• AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
  AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。 コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:03:24Z)
• Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course [1.553083901660282]
  テストはソフトウェア開発プロジェクトの成功を保証する上で重要な役割を担います。 種々のテストが機能的適合性に与える影響を定量化できるかどうかを検討する。
  論文  参考訳（メタデータ） (2024-08-22T04:23:51Z)
• SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
  FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-03-23T14:04:48Z)
• FlowMind: Automatic Workflow Generation with LLMs [12.848562107014093]
  本稿では,Large Language Models(LLM)の機能を活用した新しいアプローチであるFlowMindを紹介する。 信頼性のあるアプリケーションプログラミングインタフェース(API)を用いたLLM推論を支援する講義のための汎用的なプロンプトレシピを提案する。 また、N-CENレポートからの質問応答タスクをベンチマークするための金融の新しいデータセットであるNCEN-QAについても紹介する。
  論文  参考訳（メタデータ） (2024-03-17T00:36:37Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• Reinforcement Learning from Automatic Feedback for High-Quality Unit Test Generation [12.503002900186997]
  大規模言語モデル(LLM)は、テストケースの自動生成を含むコード生成で人気を集めている。 LLMは、多くの場合、大量の公開コードでトレーニングされ、ベストプラクティスに従わないテストケースを含む。 RLSQM(Reinforcement Learning from Static Quality Metrics)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T18:48:31Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。