論文の概要: FlowCheck: Helping End-Users Specify and Verify Intent in Vibe-Coded Web Apps
- arxiv url: http://arxiv.org/abs/2608.28880v1
- Date: Fri, 28 Aug 2026 21:32:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 13:13:04.251896
- Title: FlowCheck: Helping End-Users Specify and Verify Intent in Vibe-Coded Web Apps
- Title（参考訳）: FlowCheck: エンドユーザーによるビブコードWebアプリのインテントの特定と検証を支援する
- Abstract要約: FlowCheckは、アプリケーションインターフェースから直接流れるユーザ可視情報を指定するための制約言語である。
Claude Codeを通じて生成された4つのアプリケーションで評価し、3つのコーディングモデルをバグフィニングベースラインとして比較した。
- 参考スコア（独自算出の注目度）: 8.235462314141493
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vibe-coded applications often contain silent behavioral failures in which the interface appears functional even though user-visible information does not flow to the expected state or output. We introduce FlowCheck, a constraint language to specify these user-visible information flows directly through the application interface, where constraints can also be displayed and inspected without reading code, and are structured enough for reliable LLM generation. FlowCheck translates the constraints into deterministic CodeQL analyses, and we evaluate it across four applications generated via Claude Code, and compare with three coding models as bug-finding baselines. We find that FlowCheck correctly translates and flags all 30 of our injected constraint violations with no false positives. In contrast, frontier models (Claude Opus 4.7, DeepSeek V3, and Gemini Pro) showed significantly lower accuracy when prompted to find bugs in the same code, with none achieving full accuracy. This approach lets vibe coders state intent in terms of the interface they understand, and checks it deterministically against the code they do not.
- Abstract（参考訳）: バイブ符号化されたアプリケーションは、ユーザ可視の情報が期待状態や出力に流れていないにもかかわらず、インタフェースが機能しているように見えるサイレントな動作障害を含むことが多い。
本稿では,これらのユーザ可視情報を直接アプリケーションインターフェースに流す制約言語であるFlowCheckについて紹介する。
FlowCheckは制約を決定論的CodeQL分析に変換し、Claude Codeで生成された4つのアプリケーションにわたって評価し、3つのコーディングモデルをバグフィニングベースラインとして比較する。
FlowCheckは、注入された制約違反の30点を、偽陽性なしで正しく翻訳し、フラグ付けします。
対照的に、フロンティアモデル(Claude Opus 4.7、DeepSeek V3、Gemini Pro)は、同じコードでバグを見つけるよう促された場合の精度が著しく低下し、完全な精度が得られなかった。
このアプローチによって、Vibeプログラマは、理解しているインターフェースの観点で意図を述べ、それを決定論的に、理解していないコードに対してチェックすることが可能になる。
関連論文リスト
- LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Beyond Code Reasoning: Specification-Anchored Auditing of Multi-Implementation Distributed Protocols [1.5229705287183657]
SPECAは、明示的で分類されたセキュリティプロパティを自然言語仕様から導き出し、実装間で再利用する監査フレームワークである。
RepoAuditのベンチマークでは、SPECAは100%リコール(F1=0.94)で88.9%の精度に達し、著者が検証した12のバグを地上の真実を超えて表面化している。
Sherlock Fusaka Audit Contest(10のターゲット、366の応募)では、SPECAが専門家が強化した15の脆弱性をすべて回復し、4つの修正確認バグが浮上した。
論文 参考訳（メタデータ） (2026-04-29T09:57:07Z) - FlyCatcher: Neural Inference of Runtime Checkers from Tests [15.772540292298151]
FlyCatcherは、既存のテストからランタイムチェッカーを誘導する自動化アプローチである。
特定のメソッド呼び出しを監視し、呼び出し時に保持すべきプロパティをアサートするチェッカーを推論する。
最先端のアプローチと比較して、我々のアプローチは2.6倍の正確なチェッカーを推測し、5.2倍のエラーを検出できる。
論文 参考訳（メタデータ） (2026-04-23T19:43:53Z) - AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳（メタデータ） (2026-02-10T06:58:26Z) - Can Large Language Models Detect Real-World Android Software Compliance Violations? [3.7278558081099544]
現在のモデルは、さまざまな法律フレームワークにわたるAndroidアプリケーションのコンプライアンス違反を検出するのに苦労している。
コンプライアンス違反を検知するLLMの能力を評価するための新しい評価フレームワークであるemphCompliBenchを提案する。
GPT-4OやClaude-3.5を含む6つのモデルによる実験では、emphCompliBenchはコンプライアンス検出を改善している。
論文 参考訳（メタデータ） (2025-11-01T16:58:33Z) - Vibe Checker: Aligning Code Evaluation with Human Preference [35.939058895669895]
提案するVeriCodeは,30の検証可能なコード命令とそれに対応する決定論的検証器の分類法である。
最強モデルでさえ、複数の命令に従わず、明確な機能回帰を示すのに苦労していることを示す。
我々の研究は、バイブチェックの中核的な要素を特定し、モデルをベンチマークし、開発するための具体的なパスを提供します。
論文 参考訳（メタデータ） (2025-10-08T17:59:19Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - METAMON: Finding Inconsistencies between Program Documentation and Behavior using Metamorphic LLM Queries [10.9334354663311]
本稿では,既存の検索ベーステスト生成技術を用いて,現在のプログラム動作をテストケース形式でキャプチャするMETAMONを提案する。
MeTAMONはこのタスクでメタモルフィックテストと自己整合性によってサポートされている。
Defects4J v2.0.1の5つのオープンソースプロジェクトを使って生成された9,482対のコードドキュメンテーションとコードスニペットに対する実証的な評価は、METAMONがコードとドキュメントの不整合を精度0.72、リコール0.48で分類できることを示している。
論文 参考訳（メタデータ） (2025-02-05T00:42:50Z) - VibeCheck: Discover and Quantify Qualitative Differences in Large Language Models [82.8909754663003]
VibeCheckは、2つの大きな言語モデルを自動的に比較するシステムである。
明確に定義され、差別化され、ユーザ整合したモデル(ビーブ)の特性を発見する。
VibeCheckは、ラマは友好的で、面白く、やや物議を醸していると明かす。
論文 参考訳（メタデータ） (2024-10-10T17:59:17Z) - OpenFactCheck: Building, Benchmarking Customized Fact-Checking Systems and Evaluating the Factuality of Claims and LLMs [59.836774258359945]
OpenFactCheckは、カスタマイズされたファクトチェックシステムを構築するためのフレームワークである。
ユーザーは自動的にファクトチェッカーをカスタマイズし、文書やクレームの事実的正当性を検証できる。
CheckerEVALは、人間の注釈付きデータセットを使用して、自動ファクトチェッカーの検証結果の信頼性を高めるソリューションである。
論文 参考訳（メタデータ） (2024-05-09T07:15:19Z) - Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。
オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。
予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
論文 参考訳（メタデータ） (2023-11-15T14:41:57Z) - DocChecker: Bootstrapping Code Large Language Model for Detecting and
Resolving Code-Comment Inconsistencies [13.804337643709717]
DocCheckerは、コードとそれに伴うコメントの違いを検出し、修正するツールである。
コードとコメントの不一致を識別する能力があり、合成されたコメントを生成することもできる。
Inconsistency Code-Comment Detectionタスクでは72.3%の精度で、最先端の新たな結果が得られる。
論文 参考訳（メタデータ） (2023-06-10T05:29:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。