論文の概要: FLOWSTEP: A Framework for Learning to Predict GitHub Actions Workflow STEPs

• arxiv url: http://arxiv.org/abs/2610.35650v1
• Date: Mon, 26 Oct 2026 15:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.061947
• Title: FLOWSTEP: A Framework for Learning to Predict GitHub Actions Workflow STEPs
• Title（参考訳）: FLOWSTEP: GitHub Actions Workflow STEPを予測するためのフレームワーク
• Abstract要約: FLOWSTEPはGitHub Actionsのステップ補完のためのフレームワークである。 ActionとScript生成を区別します。 確立されたベンチマークに基づいて、FLOWSTEPはエンドツーエンドのワークフローステップ予測精度を38.23%から51.09%に改善した。
• 参考スコア（独自算出の注目度）: 2.326379672591258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous Integration and Delivery (CI/CD) are fundamental to modern software development, yet configuring pipelines such as GitHub Actions (GHA) workflows remains complex and error-prone. Recent work has explored Transformer-based models for GHA workflow recommendation, but existing approaches typically model workflow steps as a single homogeneous generation task. This formulation overlooks a key distinction: reusable Actions are structured, ecosystem-level components, whereas project-specific Scripts encode local build, test, and deployment semantics. Consequently, current models struggle to capture the different forms of knowledge required for accurate workflow completion. In this work, we present FLOWSTEP, a framework for GHA workflow step completion that explicitly distinguishes between Action and Script generation. FLOWSTEP combines large language models (LLMs) with contrastive learning to better capture semantic relationships among workflow contexts, Actions, and Scripts. Evaluated on established benchmarks, FLOWSTEP improves end-to-end workflow step prediction accuracy from 38.23% to 51.09%. Beyond prediction accuracy, we further study whether LLM-as-a-judge can provide a more semantic evaluation of generated workflow steps. By comparing LLM-based assessments with human annotations, we find that the best-performing model configuration reaches substantial agreement with human ground truth (Krippendorff's alpha = 0.701), suggesting that LLM-as-a-judge can serve as a scalable complement to manual evaluation.
• Abstract（参考訳）: 継続的インテグレーションとデリバリ(CI/CD)は、現代のソフトウェア開発の基本であるが、GitHub Actions(GHA)ワークフローのようなパイプラインの設定は、複雑でエラーを起こしやすいままである。 最近の研究では、GHAワークフローレコメンデーションのためのTransformerベースのモデルが検討されているが、既存のアプローチは通常、単一の同種生成タスクとしてワークフローステップをモデル化する。 再利用可能なアクションは構造化され、エコシステムレベルのコンポーネントであるのに対して、プロジェクト固有のScriptはローカルビルド、テスト、デプロイメントのセマンティクスをエンコードする。 その結果、現在のモデルでは、ワークフローの正確な完了に必要なさまざまな種類の知識を捉えるのに苦労しています。 本稿では、GHAワークフローのステップ補完のためのフレームワークであるFLOWSTEPを紹介し、ActionとScriptの生成を明確に区別する。 FLOWSTEPは、大きな言語モデル(LLM)と対照的な学習を組み合わせて、ワークフローコンテキスト、アクション、スクリプト間のセマンティックな関係をよりよく捉える。 確立されたベンチマークに基づいて、FLOWSTEPはエンドツーエンドのワークフローステップ予測精度を38.23%から51.09%に改善した。 予測精度を超えて、LLM-as-a-judgeが生成されたワークフローステップをより意味的に評価できるかどうかをさらに検討する。 LLM-as-a-judge による評価と人間のアノテーションを比較することで、最高の性能のモデル構成が人間の真実とかなりの一致(クリッペンドルフのα = 0.701)に達することが分かり、LLM-as-a-judge が手作業による評価のスケーラブルな補完となることが示唆された。

関連論文リスト

• FlowScout: From Execution Feedback to Reliable Tool-Using Agent Workflows [6.767792769288717]
  FlowScoutは、過去のタスク解決レコードからツール統合エージェントを生成するための実行誘導フレームワークである。 最初に、最初のワークフローを構築するために、歴史的な記録から共通のツール調整をマイニングする。 その後、実行フィードバックによってガイドされたMonte Carloツリー検索を通じてワークフロートポロジを洗練する。
  論文  参考訳（メタデータ） (2026-08-10T08:41:59Z)
• Beyond the YAML File: Understanding Real-World GitHub Actions Workflow Adoption [3.1994648513393873]
  GitHub Actions(GHA)が支配的な自動化プラットフォームとして浮上している。 我々は、メンテナとコントリビュータがワークフロー結果とどのように相互作用するかを理解するために、922リポジトリから258,300のワークフローの実行レコードを定量的に分析する。 我々は、3つの異なる障害応答パターンを特定し、GHAの使用率が低い障害率と相関していることを観察し、構成と利用のギャップを明らかにする。
  論文  参考訳（メタデータ） (2026-04-19T23:23:59Z)
• ComfyGPT: A Self-Optimizing Multi-Agent System for Comprehensive ComfyUI Workflow Generation [96.44354750396019]
  ComfyGPTはタスク記述に基づいてComfyUIを生成するように設計された自動最適化マルチエージェントシステムである。 FlowDatasetは、13,571のワークフロー記述ペアを含む大規模なデータセットである。 FlowBenchはワークフロー生成システムを評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2025-03-22T06:48:50Z)
• Flow: Modularized Agentic Workflow Automation [53.073598156915615]
  大規模言語モデル(LLM)を利用したマルチエージェントフレームワークは、自動計画とタスク実行において大きな成功を収めている。 しかし, 実行中のエージェントの効果的な調整は十分に研究されていない。 本稿では,エージェントによる継続的なワークフロー改善を可能にするアクティビティ・オン・頂点(AOV)グラフを定義する。 提案するマルチエージェントフレームワークは,サブタスクの効率的な同時実行,効果的なゴール達成,エラー耐性の向上を実現している。
  論文  参考訳（メタデータ） (2025-01-14T04:35:37Z)
• WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
  ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。 最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。 LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
  論文  参考訳（メタデータ） (2024-11-08T09:58:02Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。