論文の概要: The Patchwork Problem in LLM-Generated Code
- arxiv url: http://arxiv.org/abs/2607.08981v1
- Date: Thu, 09 Jul 2026 23:01:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.753587
- Title: The Patchwork Problem in LLM-Generated Code
- Title（参考訳）: LLM生成符号におけるパッチ処理問題
- Abstract要約: 本稿では,リポジトリアーティファクトのグラフ表現に対する一貫性不変量として構造コヒーレンスを定式化する。
2つのフロンティアモデルに対する実証的な評価によると、構造的失敗の大部分は、型チェック、テスト、SASTを完全に回避している。
- 参考スコア（独自算出の注目度）: 3.4562767039451674
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-generated code often compiles, passes tests, and appears correct, yet breaks once deployed. The root cause is frequently structural rather than logical. A generated endpoint references configuration keys never declared in the project, an import targets a package that does not exist in any registry, or a new route omits the authentication guard applied to every sibling endpoint. Each patch is locally valid but globally incoherent, and standard CI toolchains rarely surface these failures. As LLM-powered coding tools see widespread adoption, this blind spot poses a growing risk to software quality. We call this the \textbf{patchwork problem}. This paper formalizes structural coherence as consistency invariants over graph representations of repository artifacts, including import, call, dependency, configuration, schema, resource, control-flow, and routing graphs, and introduces an eight-category failure taxonomy distinguishing defects specific to LLM generation from those merely amplified by it. We present a hybrid verification framework that delegates to mature static analysis tools where they already excel and deploys purpose-built detectors for cross-cutting invariants underserved by existing toolchains, targeting provable constraint violations rather than heuristic pattern matching. Empirical evaluation across two frontier models under four prompting strategies reveals that the vast majority of structural failures evade type checking, testing, and SAST entirely, and that failure patterns diverge qualitatively between models in ways that challenge model-agnostic mitigation strategies. External validation on real-world AI-generated repositories confirms that these failures are not artifacts of controlled experimentation but are prevalent wherever LLMs write code with minimal human oversight.
- Abstract（参考訳）: LLMの生成したコードは、しばしばコンパイルし、テストに合格し、正しいように見えるが、一度デプロイすると壊れる。
根本原因は論理的ではなく構造的である。
生成されたエンドポイントは、プロジェクト内で決して宣言されていない設定キーを参照し、インポートは、いかなるレジストリにも存在しないパッケージをターゲットにし、新しいルートは、すべての兄弟エンドポイントに適用された認証ガードを省略する。
各パッチはローカルに有効だが、グローバルに一貫性がなく、標準のCIツールチェーンがこれらの障害を発生させることは滅多にない。
LLMベースのコーディングツールが広く採用されるにつれて、この盲点がソフトウェア品質のリスクを増大させます。
これをtextbf{patchwork problem} と呼ぶ。
本稿では,レポジトリアーティファクトのインポート,コール,依存性,構成,スキーマ,リソース,制御フロー,ルーティンググラフなどのグラフ表現に対する一貫性不変量として構造的コヒーレンスを定式化し,LLM生成に特有の欠陥を単に増幅したものと区別する8つのカテゴリの障害分類を導入する。
本稿では,既存のツールチェーンが保持するクロスカット不変量に対して,すでに最適化およびデプロイを行っている,成熟した静的解析ツールに委譲するハイブリッド検証フレームワークを提案する。
4つのプロンプト戦略の下での2つのフロンティアモデルに対する実証的な評価は、構造的障害の大部分は、型チェック、テスト、SASTを完全に回避し、失敗パターンはモデルに依存しない緩和戦略に挑戦する方法で、モデル間で定性的に分散することを示している。
現実のAI生成リポジトリの外部検証では、これらの障害は制御された実験の成果物ではなく、LLMが最小限の人間の監視でコードを書く場合が一般的であることを確認している。
関連論文リスト
- RepoProbe: Benchmarking Architecture-Aware Repository Comprehension with Checklists [12.810164698494281]
RepoProbeは、リポジトリレベルのコード理解を評価するための新しいベンチマークである。
本稿では,回答をアトミックで検証可能な事実に分解するチェックリストベースの検証プロトコルを提案する。
論文 参考訳（メタデータ） (2026-08-05T12:49:36Z) - Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces [32.850551109913845]
大規模言語モデル(LLM)の安全なデプロイにとって、ジェイルブレイク攻撃は依然として重要な脅威である
このプロンプト中心のパラダイムは、ステートフルで関数呼び出し環境における構造的脆弱性を見落としていることを示す。
我々は、シミュレートされたモデレーショントレースに基づくブラックボックス攻撃フレームワークであるSMTを通じて、このアーキテクチャ欠陥を利用する。
論文 参考訳（メタデータ） (2026-07-01T06:08:07Z) - Empirical Study for Structured Output Control in LLMs for Software Engineering [13.096361151631427]
期待されるフォーマットに反する意味論的に正しい出力は、システムの観点から、間違った答えと区別できないものである。
本報告では,4つのSEタスクにまたがる構造的信頼性の体系的評価を行う。
LLM駆動誤差における構造的忠実度と意味的正しさを両立させるアプローチの必要性を強調した。
論文 参考訳（メタデータ） (2026-06-08T12:13:58Z) - VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。
しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。
本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-17T14:09:35Z) - Constraint Decay: The Fragility of LLM Agents in Backend Code Generation [9.659020624935687]
大きな言語モデル(LLM)エージェントは、緩やかな仕様の下で、自律的なコード生成において強力なパフォーマンスを示す。
プロダクショングレードのソフトウェアは、アーキテクチャパターンやデータベース、オブジェクト-リレーショナルマッピングといった構造的制約に厳格に固執する必要がある。
本稿では,バックエンド生成における構造的制約を適切に扱えるかを評価する。
論文 参考訳（メタデータ） (2026-05-07T15:44:40Z) - How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。
我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
論文 参考訳（メタデータ） (2026-04-26T14:34:49Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Architecture-Aware Multi-Design Generation for Repository-Level Feature Addition [53.50448142467294]
RAIMは、リポジトリレベルの機能追加のための、多設計およびアーキテクチャ対応のフレームワークである。
複数の多様な実装設計を生成することで、線形パッチから切り離される。
NoCode-bench Verifiedデータセットの実験では、RAIMが新しい最先端のパフォーマンスを確立することが示されている。
論文 参考訳（メタデータ） (2026-03-02T12:50:40Z) - ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。
ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
論文 参考訳（メタデータ） (2026-02-13T14:33:13Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - Patch2QL: Discover Cognate Defects in Open Source Software Supply Chain
With Auto-generated Static Analysis Rules [1.9591497166224197]
本稿では,SASTルールの自動生成によるOSSのコグネート欠陥の検出手法を提案する。
具体的には、プリパッチバージョンとポストパッチバージョンから重要な構文と意味情報を抽出する。
我々はPatch2QLというプロトタイプツールを実装し、それをC/C++の基本OSSに適用した。
論文 参考訳（メタデータ） (2024-01-23T02:23:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。