論文の概要: VIBEPASS: Can Vibe Coders Really Pass the Vibe Check?
- arxiv url: http://arxiv.org/abs/2603.15921v1
- Date: Mon, 16 Mar 2026 21:14:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:06.991535
- Title: VIBEPASS: Can Vibe Coders Really Pass the Vibe Check?
- Title（参考訳）: VIBEPASS:バイブ・プログラマーは本当にバイブ・チェックをパスできるのか?
- Abstract要約: emphFault-Triggering Test Generation(FT-Test)とemphFault-targeted Program repair(FPR)の2つの組み合わせタスクを評価した。
故障対象推論は一般的な符号化能力ではスケールしないことがわかった。
自己生成テストが障害の発見に成功すると、結果として得られた修復結果が外部から提供されたテストによってガイドされた修復と一致したり、性能が低下する。
- 参考スコア（独自算出の注目度）: 46.85901599242161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As Large Language Models shift the programming toward human-guided ''vibe coding'', agentic coding tools increasingly rely on models to self-diagnose and repair their own subtle faults -- a capability central to autonomous software engineering yet never systematically evaluated. We present \name{}, the first empirical decomposition that jointly evaluates two coupled tasks: \emph{Fault-Triggering Test Generation (FT-Test)} constructing a discriminative witness that exposes a latent bug, and \emph{Fault-targeted Program Repair (FPR)}, repairing it under varying diagnostic conditions. \name{} pairs competitive programming problems with LLM-generated solutions that pass partial test suites but fail on semantic edge cases, enabling controlled identification of where the diagnostic chain breaks down. Evaluating 12 frontier LLMs, we find that fault-targeted reasoning does not scale with general coding ability. Models produce syntactically valid test inputs at near-ceiling rates yet collapse on discriminative generation, with fault hypothesis generation -- not output validation -- as the dominant bottleneck. Test-guided repair reveals a complementary insight: when self-generated tests successfully witness a fault, the resulting repair matches or outperforms repair guided by externally provided tests, but tests that fail to witness the fault actively degrade repair below unguided baselines. Together, these results reframe the challenge of autonomous debugging: the binding bottleneck is not code synthesis or test validity but fault-target reasoning, a capability that remains deficient across all frontier models. As Large Language Models shift the programming toward human-guided ''vibe coding'', agentic coding tools increasingly rely on models to self-diagnose and repair their own subtle faults -- a capability central to autonomous software engineering yet never systematically evaluated.
- Abstract（参考訳）: 大規模言語モデルがプログラミングを人間の指導する'バイブコーディング'へとシフトするにつれ、エージェント的コーディングツールはますますモデルに依存して、自身の微妙な欠陥を自己診断し、修復する — 自律的なソフトウェアエンジニアリングの中心的な能力であると同時に、体系的に評価されることもない — に依存している。
本稿では,2つの結合したタスクを共同で評価する最初の経験的分解である \name{} について述べる。
\name{}は、部分的なテストスイートをパスするがセマンティックエッジケースで失敗するLLM生成ソリューションと競合するプログラミング問題をペアリングし、診断チェーンの故障箇所を制御できる。
12のフロンティア LLM を評価すると、故障対象推論は一般的な符号化能力でスケールしないことがわかった。
モデルは、ほぼシーリング速度で構文的に有効なテスト入力を生成するが、差別的な生成では崩壊する。
自己生成テストが障害の発見に成功すると、結果として得られた修復結果が外部から提供されたテストによってガイドされた修復と一致したり、性能が低下する。
バインディングのボトルネックは、コード合成やテストの妥当性ではなく、フォールトターゲット推論であり、すべてのフロンティアモデルではまだ不十分な機能である。
大規模言語モデルがプログラミングを人間の指導する'バイブコーディング'へとシフトするにつれ、エージェント的コーディングツールはますますモデルに依存して、自身の微妙な欠陥を自己診断し、修復する — 自律的なソフトウェアエンジニアリングの中心的な能力であると同時に、体系的に評価されることもない — に依存している。
関連論文リスト
- Hierarchical Fault Localization for Autonomous Driving Systems with Hypothesis Validation and Intent Analysis [14.387618464803774]
本稿では,仮説検証と意図解析に基づく階層型ADS断層定位のための2段階フレームワークHINTを提案する。
フェーズ1では、HINTは障害トリガ実行レコードをマルチモーダル抽象化に変換する。
フェーズIIでは、設計側の意図と実装側の振る舞いを再構築し、信頼性を意識した整合性チェックを通じて不審なコードをローカライズする。
論文 参考訳（メタデータ） (2026-07-14T10:17:01Z) - Fail-Aware and Explainable Test Oracle Prediction [4.6927139685668315]
新たなコードLLMに基づく識別オラクル予測器であるFOCALを提案する。
テスト中のテストプレフィックスとメソッドのラベル付きペアから学習し、トレーニング中に失敗するケースを強調する損失を採用し、ステートメントレベルの行動証拠にその予測を根拠とする。
ベースライン手法SEERと比較すると,未確認プロジェクトのフェールケースの性能は著しく向上する。
論文 参考訳（メタデータ） (2026-07-13T10:04:36Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。
我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
論文 参考訳（メタデータ） (2026-04-26T14:34:49Z) - Beyond Fixed Tests: Repository-Level Issue Resolution as Coevolution of Code and Behavioral Constraints [17.818522356206977]
ほとんどの大規模言語モデル(LLM)ベースの修復システムは、修理中に固定された動作制約を扱います。
本稿では,Agent-CoEvoを提案する。Agent-CoEvoは共進化的マルチエージェントフレームワークで,候補コードパッチとテストパッチを共同で探索し,洗練する。
Agent-CoEvoは、修復の成功と再現性の両方において、最先端のエージェントベースとエージェントレスベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-04-06T10:26:46Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Learning to Pay Attention: Unsupervised Modeling of Attentive and Inattentive Respondents in Survey Data [0.14323566945483493]
注意点検などの従来の安全対策は、コストが高く、反応性があり、一貫性がないことが多い。
補完的な教師なしビューを用いた不注意検出のための統一型ラベルフリーフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-02T22:11:51Z) - ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。
ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
論文 参考訳（メタデータ） (2026-02-13T14:33:13Z) - CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs [13.488544043942495]
本研究の目的は、コード生成中に論理的妥当性を予測可能な内部デオード可能な信号が、モデル内のニューラルダイナミクスで符号化されているかどうかを検討することである。
複雑な残留流を分解することにより,音の推論と論理的失敗を区別する構造的シグネチャを同定することを目的とする。
Python、C++、Javaでの分析では、固有の正当性信号が多様な構文で堅牢であることが確認されている。
論文 参考訳（メタデータ） (2026-02-06T03:49:15Z) - The Rise of Agentic Testing: Multi-Agent Systems for Robust Software Quality Assurance [0.0]
現在のAIベースのテストジェネレータは、実行意識のフィードバックがないため、無効、冗長、あるいは実行不可能なテストを生成する。
本稿では,テスト生成エージェント,実行・分析エージェント,レビュー・最適化エージェントが協調してテストの生成,実行,解析,精査を行う,クローズドループの自己修正システムを提案する。
論文 参考訳（メタデータ） (2026-01-05T18:20:14Z) - RePaCA: Leveraging Reasoning Large Language Models for Static Automated Patch Correctness Assessment [0.0]
本稿では,Large Language Models (LLM) を利用した新しい静的APCA手法であるRePaCAを紹介する。
提案手法は,83.1%の精度と84.8%のF1スコアで最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-07-30T11:21:09Z) - Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。
しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。
本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
論文 参考訳（メタデータ） (2025-02-20T18:32:19Z) - Fix the Tests: Augmenting LLMs to Repair Test Cases with Static Collector and Neural Reranker [9.428021853841296]
本稿では, TROCtxsの精密かつ高精度な構築により, 旧来の検査ケースを自動的に修復する新しい手法であるSynTERを提案する。
構築されたTROCtxの増強により、幻覚は57.1%減少する。
論文 参考訳（メタデータ） (2024-07-04T04:24:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。