論文の概要: Well-Typed ComfyUI Cannot Go Wrong: Gradual Refinement Types for Generative-AI Workflow Graphs
- arxiv url: http://arxiv.org/abs/2610.37673v1
- Date: Sat, 03 Oct 2026 11:51:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 02:47:11.503704
- Title: Well-Typed ComfyUI Cannot Go Wrong: Gradual Refinement Types for Generative-AI Workflow Graphs
- Title（参考訳）: well-typed ComfyUI can not go Wrong: Gradual Refinement Types for Generative-AI Workflow Graphs
- Abstract要約: ComfyUIのセマンティックコンポジション障害は、イシューレポートの8%、ランタイム障害の21%を占め、32%が沈黙している。
実行前にコンポーネントの互換性をチェックする段階的な改善型システムであるComfyTyを紹介する。
- 参考スコア（独自算出の注目度）: 21.306680520156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative-AI workflows are programs assembled from independently developed models and operators. Their correctness depends on relationships among model families, tensor geometry, control modalities, and quantization levels. In ComfyUI, these relationships can be violated even when every connection is accepted by its validator, causing expensive runtime crashes or silent failures. To measure how often such semantic composition failures occur, we classify all 8,766 issues and 1,368 discussion threads of ComfyUI's GitHub repository with an LLM, checked for cross-model agreement. They account for 8\% of issue reports and 21\% of issue-tracker runtime failures, and 32\% of them are silent. Because execution cannot reliably reveal those failures, we present ComfyTy, a gradual refinement type system that checks component compatibility before execution as a compositional property of workflow graphs. Each node declares a reusable schema that states which model families, sizes, modalities, and quantizations it accepts and produces. Wiring nodes together combines their schemas into constraints, which ComfyTy solves to find and report incompatibilities. To evaluate ComfyTy, we first inject faults into official ComfyUI workflows and execute every resulting graph. ComfyTy detects 66.4\% of the confirmed injected faults, all of which ComfyUI's own validator admits. On real workflows across more model families, it raises no false alarm on 765 known-good workflows and detects 67\% of 108 failures rebuilt from user reports. Finally, in a user study with 10 participants, its diagnostics raise fault-localization accuracy on faulty workflows from 35.0\% to 87.5\% and repair accuracy from 30.0\% to 62.5\%.
- Abstract（参考訳）: 生成AIワークフロー(Generative-AI workflows)は、独立して開発されたモデルとオペレーターから組み立てられたプログラムである。
それらの正しさは、モデル族、テンソル幾何学、制御モダリティ、量子化レベルの間の関係に依存する。
ComfyUIでは、これらの関係はバリデータによって全ての接続が受け入れられた場合でも違反し、高価なランタイムクラッシュやサイレント障害を引き起こす。
このようなセマンティックなコンポジション障害の発生頻度を測定するため、ComfyUIのGitHubリポジトリの8,766のイシューと1,368のディスカッションスレッドをLCMで分類し、クロスモデル契約を確認します。
問題レポートの8\%とイシュートラッカのランタイム障害の21\%を占めており、その32\%は沈黙している。
実行時にこれらの障害を確実に明らかにできないため、ワークフローグラフの合成プロパティとして実行前にコンポーネントの互換性をチェックする段階的な改善型システムであるComfyTyを提案する。
各ノードは再利用可能なスキーマを宣言し、どのファミリー、サイズ、モダリティ、そしてそれが受け入れ、生成する量子化をモデル化するかを記述する。
ノードを接続することでスキーマを制約に結合し、ComfyTyは不整合を見つけて報告する。
ComfyTyを評価するために、私たちはまず、公式のComfyUIワークフローに障害を注入し、結果のグラフをすべて実行します。
ComfyTyは、確認されたインジェクトされた障害の66.4\%を検出し、ComfyUI自身のバリデーターが認めている。
モデルファミリをまたいだ実際のワークフローでは、765の既知のワークフローに誤報は発生せず、ユーザレポートから再構築された108の障害の67.5%を検出する。
最後に、10人の被験者によるユーザスタディにおいて、診断は欠陥ワークフローの障害局所化精度を35.0\%から87.5\%に引き上げ、修復精度を30.0\%から62.5\%に引き上げる。
関連論文リスト
- Small agents should know what their tools do [45.88028371034407]
エフェクト型ツールの実行可能な世界であるエフェクトワールドを紹介する。
どのツールでもその効果を宣言します。
このデータで訓練された低ランクは大きな利益をもたらす。
論文 参考訳（メタデータ） (2026-10-26T10:28:14Z) - Why Does Structured Output Fail? An Empirical Study of Prompt-Enforced Pydantic Schemas Across Nine LLMs [0.2900810893770133]
ホスト言語モデルからの構造化出力を必要とするパイプラインは、プロンプトにピダンティックスキーマを指定し、応答を検証し、バリデーションが失敗した時に再試行することが多い。
しかし、パイプラインの信頼性は単一の妥当性率によって要約されることが多い。
本稿では,スキーマ整合性障害の微粒な分類法と,モデル応答とピダンティック検証エラーから障害カテゴリを割り当てる決定論的分類法を導入する。
論文 参考訳（メタデータ） (2026-10-24T23:30:38Z) - Understanding Tool-Mediated Interaction Failures in Agentic GUI Software: An Empirical Study [12.964034761958048]
大規模言語モデル (LLM) は、ライブグラフィカルユーザインタフェース (GUI) を通じてタスクを完遂する傾向にある。
本稿では,このツールを介するインタラクションが,エージェントのタスクビューをライブGUIから切り離す障害について検討する。
Malvaは、40のオープンソースアプリケーションから現実の失敗が確認された335の欠陥ライブラリです。
論文 参考訳（メタデータ） (2026-10-21T13:27:32Z) - BRIDGE: Selective Boundary Repair with Dependency Graph Evidence in Multi-Agent Systems [59.26551527044981]
methodは、ハンドオフ修復を明示的な依存性の摂動に対する選択的介入として扱うランタイム制御フレームワークである。
SILO-BENCHでは12.3パーセンテージ、TeamBenchでは11.1ポイントまでタスクの成功を加速させる。
論文 参考訳（メタデータ） (2026-10-13T06:31:57Z) - Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。
ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-10-08T08:26:46Z) - TyPatch: Transforming Patches into Typestate Rules for Kernel Bug Detection [9.241492644741198]
我々はTyPatchを紹介し、パッチ固有の欠陥セマンティクスをアナライザの実装から分離する。
Linux v6.16では、TyPatchは559の異なるバグを発見し、そのうち121はカーネル開発者によって確認されている。
論文 参考訳（メタデータ） (2026-09-12T05:34:12Z) - Diagnosis-Driven Automatic Repair for Agentic Workflow via Symbolic Inference [23.048678930743467]
FlowFixerは、診断駆動の自動修復フレームワークである。
私たちは、Dify、Coze、n8nという3つの一般的な開発プラットフォームから収集されたワークフロー障害についてFlowFixerを評価します。
その結果、FlowFixerは71.3%の修復成功率を達成し、最先端のベースラインを11.9%から27.6%上回る結果となった。
論文 参考訳（メタデータ） (2026-07-03T02:28:32Z) - GraphFlow: An Architecture for Formally Verifiable Visual Workflows Enabling Reliable Agentic AI Automation [0.0]
GraphFlowは、ミッションクリティカルなプロセスにおけるエージェントAI自動化の信頼性向上を目的とした、ビジュアルワークフローシステムである。
既存のワークフロープラットフォームは、耐久性のある実行と可観測性を提供するが、セマンティックな正確性を保証するものはほとんどない。
3つの臨床現場で1年間のパイロットが8,728件のコホート登録ワークフローを実行し、97.08%の完成率を記録した。
論文 参考訳（メタデータ） (2026-05-14T15:33:05Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳（メタデータ） (2026-02-10T06:58:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。