論文の概要: Guiding Human Validation of LLM-Generated Code via Verifiable Literate Programming
- arxiv url: http://arxiv.org/abs/2607.02333v1
- Date: Thu, 02 Jul 2026 15:37:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.906236
- Title: Guiding Human Validation of LLM-Generated Code via Verifiable Literate Programming
- Title（参考訳）: 検証可能なリテラルプログラミングによるLLM生成コードのヒューマンバリデーションの誘導
- Abstract要約: Vibe コーディングは,ユーザが大規模言語モデル (LLM) との自然言語 (NL) インタラクションを通じてコードを生成することによって,ソフトウェア開発を民主化する
本稿では,全てのプログラミングレベルにおいて,レビュー/バリデーションプロセスのユーザへのアクセス性を高めるために設計された,検証可能なリテラトプログラミングを提案する。
このドキュメンテーションは、具体的なプログラムセマンティクスを示し、ユーザは潜在的なインテントコードミスマッチに対するフィードバックを提供することができる。
- 参考スコア（独自算出の注目度）: 18.004246438683147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vibe coding democratizes software development by allowing users to generate code via natural-language (NL) interaction with large language models (LLMs). However, the code is reliable only when it faithfully implements the user's intent, which is difficult and labor-intensive for users to validate. Existing validation methods either rely on LLM-assisted automated testing, which suffers from prompt ambiguity and model fallibility, or involve users only in partial software artifacts such as prompts and test cases, which may overlook corner cases and program details. Motivated by a bug study of LLM-generated code, we find that detailed human feedback is essential, as failures often stem from underspecified requirements or subtle semantic deviations. This paper presents verifiable literate programming (VLP), a human-in-the-loop framework designed to make the review/validation process of LLM-generated code accessible to users at all programming levels. At its core, VLP proposes unambiguous NL-based documentation as a readable intermediate layer between prompts and code. The documentation demonstrates concrete program semantics and enables users to provide feedback on potential intent-code mismatches. It supports human-involved, end-to-end repair and validation via three techniques: (i) an NL-style literate language with unambiguous syntax and mostly deterministic code-to-documentation translation, (ii) LLM-based fine-grained mismatch detection that uses trace links between prompts and documentation to focus users' review effort on suspicious documentation lines, and (iii) a verification module that leverages user-validated documentation to derive API-usage checks and formal properties, which are then verified against the generated code using model checking. Our evaluation shows that VLP improves code pass@1 from 28.7%-73.2% to 65.4%-93.5% with reasonable user effort.
- Abstract（参考訳）: Vibeコーディングは、ユーザーが大きな言語モデル(LLM)との自然言語(NL)インタラクションを通じてコードを生成することによって、ソフトウェア開発を民主化する。
しかし、コードの信頼性は、ユーザの意図を忠実に実装する場合に限られる。
既存の検証方法はLCMが支援する自動テストに依存するか、即興の曖昧さとモデル誤認に悩まされるか、あるいはプロンプトやテストケースのような部分的なソフトウェアアーティファクトにのみユーザを巻き込み、コーナーケースやプログラムの詳細を見落としてしまう可能性がある。
LLM生成コードのバグスタディにより、障害はしばしば不特定要件や微妙な意味的偏差に起因するため、詳細な人間のフィードバックが不可欠であることが判明した。
本稿では,LLM生成コードのレビュー・バリデーション処理を,全てのプログラミングレベルでユーザに提供するために設計した,検証可能なリテラトプログラミング(VLP)を提案する。
VLPの中核は、プロンプトとコードの間の可読性中間層として、曖昧なNLベースのドキュメントを提案する。
このドキュメンテーションは、具体的なプログラムセマンティクスを示し、ユーザは潜在的なインテントコードミスマッチに対するフィードバックを提供することができる。
人間の関与するエンドツーエンドの修復とバリデーションを3つのテクニックでサポートする。
(i)曖昧な構文と決定論的コード・ツー・ドキュメンテーション翻訳を備えたNLスタイルのリテラト言語。
(二)不審な文書にユーザのレビュー努力を集中させるプロンプトとドキュメンテーション間のトレースリンクを利用したLLMによるきめ細かいミスマッチ検出
三 ユーザバリデーションを利用した検証モジュールにより、API使用状況のチェックと形式的プロパティを導出し、モデルチェックを使用して生成されたコードに対して検証する。
我々の評価では、VLPはコードパス@1を28.7%-73.2%から65.4%-93.5%に改善している。
関連論文リスト
- Beyond the Traceback: Using LLMs for Adaptive Explanations of Programming Errors [52.619793817715326]
本稿では,LLM生成したPythonエラーメッセージを,多段階のクラウドソースで評価する。
LLMで書き直されたメッセージは主観評価を著しく向上させたが、これらの評価結果は客観的デバッグ性能の統計的に有意な改善には至らなかった。
これは重要なヒューマンとAIの相補性ギャップを浮き彫りにしている。
論文 参考訳（メタデータ） (2026-08-21T09:14:28Z) - LLM-Based Static Verification of Code Against Natural-Language Requirements: An Industrial Experience Report [3.5867640049033054]
本稿では,この課題に対処するための2段階のLLMベースのワークフローを,インテリジェント車両サイバーセキュリティケーススタディで紹介する。
第一段階では、AIベースのルールマイナーが自然言語要求から検証可能なルールを抽出する。
第2段階では、AIベースのコード監査者が、抽出されたルールに対する実装証拠をチェックする。
論文 参考訳（メタデータ） (2026-05-18T06:34:03Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - Towards Formal Verification of LLM-Generated Code from Natural Language Prompts [17.130884318613944]
LLM生成したコードに対して、正式な正当性を保証することを目指している。
本稿では,ユーザの意図を形式的に定義されているが,自然言語的な方法で表現できる形式的なクエリ言語を提案する。
83%のケースで正しいコードを検証でき、92%で間違ったコードを識別できます。
論文 参考訳（メタデータ） (2025-07-17T16:54:42Z) - Type-Constrained Code Generation with Language Models [51.03439021895432]
本稿では,型システムを利用してコード生成を誘導する型制約デコード手法を提案する。
そこで本研究では,新しい接頭辞オートマトンと,在来型を探索する手法を開発し,LLM生成コードに適切な型付けを強制するための健全なアプローチを構築した。
提案手法は,コード合成,翻訳,修復作業において,コンパイルエラーを半分以上削減し,機能的正しさを著しく向上させる。
論文 参考訳（メタデータ） (2025-04-12T15:03:00Z) - Dafny as Verification-Aware Intermediate Language for Code Generation [0.0]
大規模言語モデル(LLM)は、自然言語プロンプトからソースコードを生成する。
その制限の1つは、生成したコードが正しいようにユーザに提示されているにもかかわらず、時に故障する可能性があることである。
ユーザがLSMをガイドして,まず不透明な中間表現を生成することを,検証対応言語であるDafnyで提案する。
正しいDafnyプログラムはターゲット言語にコンパイルされ、ユーザに返される。
論文 参考訳（メタデータ） (2025-01-10T17:23:14Z) - CodeSift: An LLM-Based Reference-Less Framework for Automatic Code Validation [3.22798929957223]
大規模言語モデル(LLM)はコード生成を大いに促進してきたが、生成されたコードの機能的正確性を保証することは依然として課題である。
従来のバリデーション手法は、多くの場合、大量のコードに対して時間がかかり、エラーが発生し、実用的ではない。
コード検証のファーストラインフィルタとしてLLMを活用する新しいフレームワークであるCodeSiftを紹介します。
論文 参考訳（メタデータ） (2024-08-28T08:32:21Z) - Chain of Targeted Verification Questions to Improve the Reliability of Code Generated by LLMs [10.510325069289324]
LLMが生成するコードの信頼性向上を目的とした自己補充手法を提案する。
当社のアプローチは,初期コード内の潜在的なバグを特定するために,対象とする検証質問(VQ)に基づいています。
本手法は,LLMをターゲットとするVQと初期コードで再プロンプトすることで,潜在的なバグの修復を試みる。
論文 参考訳（メタデータ） (2024-05-22T19:02:50Z) - LLM-Based Test-Driven Interactive Code Generation: User Study and Empirical Evaluation [13.800675921118348]
本稿では,ガイド付き意図明確化のための対話型ワークフローTiCoderを提案する。
コード生成精度を向上させるためのワークフローの有効性を実証的に評価する。
我々は,5つのユーザインタラクション内において,データセットと全LLMのパス@1コード生成精度が平均45.97%向上したことを観察した。
論文 参考訳（メタデータ） (2024-04-15T19:16:32Z) - Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。
コードプロンプトは複数のLLMに対して高速に向上することがわかった。
GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文 参考訳（メタデータ） (2024-01-18T15:32:24Z) - LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。
私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。
LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
論文 参考訳（メタデータ） (2023-05-17T15:53:31Z) - Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。
自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。
言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
論文 参考訳（メタデータ） (2022-08-11T17:41:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。