論文の概要: Passing Tests, Missing Semantics: Evidence of Interpretive Lock-In in Plan-Based DataFrame Code Generation

• arxiv url: http://arxiv.org/abs/2610.15797v1
• Date: Sun, 11 Oct 2026 17:41:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.250012
• Title: Passing Tests, Missing Semantics: Evidence of Interpretive Lock-In in Plan-Based DataFrame Code Generation
• Title（参考訳）: セマンティックスを欠くテストに合格する:プランベースデータフレームコード生成における解釈ロックインの証拠
• Abstract要約: 計画と修正は、生成されたコードをタスク仕様に近づけることを意図している。 しかし、誤った解釈は、計画、実装、テストにまたがって持続する可能性がある。 このリスクをTPCベンチマークDSから導出した30のDataFrameタスクについて検討する。
• 参考スコア（独自算出の注目度）: 1.6132108192718217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Planning and revision are intended to bring generated code closer to the task specification. Yet a mistaken interpretation can persist across the plan, implementation, and tests - a pattern we call interpretive lock-in. We investigate this risk on 30 DataFrame tasks derived from TPC Benchmark DS, comparing Frozen One-Pass, Test-Guided Revision, and PlanAudit-Guided Revision. Test-pass counts rose from 22/30 to 29/30 and 30/30, yet no generated solution matched its stored reference output. Evaluator controls returned the expected outcome in 57/57 cases. Same-engine SQL re-execution reproduced 28/30 references; all 77 test-passing runs on these tasks still failed reference agreement. PlanAudit-Guided Revision improved code scores on 3/30 tasks and test coverage on 11/30, but the median paired change was zero for both measures. Failure analysis revealed tests that omitted requirements, adopted candidate-defined schemas, used nondiscriminating fixtures, or repeated the implementation's incorrect logic. Fresh generation on ten targeted tasks produced 0/30 reference matches and 25/25 false passes among test-passing runs. These findings are diagnostic rather than causal: the pipelines differ in feedback, grounding, call budgets, and editing permissions, and the study uses one model and one primary generation per eligible task. Because pre-adjudication human labels were not retained, inter-rater agreement cannot be reconstructed and the mechanism analyses remain exploratory. Overall, increasingly successful self-generated tests did not establish semantic correctness, even after excluding unreproduced references.
• Abstract（参考訳）: 計画と修正は、生成されたコードをタスク仕様に近づけることを意図している。 しかし、誤った解釈は、計画、実装、テストにわたって持続する可能性がある。 本研究では,TPCベンチマークDSから得られた30のDataFrameタスクに対して,凍結したワンパス,テストガイドリビジョン,PlanAudit-Guided Revisionを比較検討した。 テストパス数は22/30から29/30に増加し、30/30に増加したが、生成したソリューションはその格納された参照出力と一致しなかった。 評価対象は57/57例であった。 同じエンジンのSQL再実行では28/30の参照が再現された。 PlanAudit-Guided Revisionは3/30タスクのコードスコアを改善し、11/30タスクのテストカバレッジを向上しました。 フェール分析では、要求を省略したテスト、候補定義スキーマの採用、非識別フィクスチャの使用、あるいは実装の誤ったロジックの繰り返しが明らかになった。 10のタスクを対象とした新しい生成は、テストパス実行間で0/30の参照マッチと25/25の偽パスを生成した。 これらの発見は因果関係ではなく診断であり、パイプラインはフィードバック、接地、呼び出し予算、編集許可が異なる。 事前調整された人間のラベルは保持されていないため、ラター間合意は再構築できず、メカニズム分析は探索的のままである。 全体として、成功した自己生成テストは、未生成の参照を除外しても意味的正当性を確立しなかった。

関連論文リスト

• Cross-Provider Review as a Runtime Contract for Coding Agents: A Controlled Pilot and Fault-Injection Study [17.521700896129115]
  コーディングエージェントは、個別のプロバイダとサブスクリプション料を引き合いにながら、ワークステーションを共有している。 第2のエージェントは、完了した回答を検査できるが、呼び出しは別のプールに費やし、実質的な発見を提供しない可能性がある。 異なるリソースプール、バウンダリ実行、制限されたレビュア機能、完全なインプット配信、使用可能なセマンティックアウトプット、明示的な障害状態、永続的なアタプティブエビデンスといった、アドバイザ間レビュー契約について説明する。
  論文  参考訳（メタデータ） (2026-10-07T22:28:22Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Guardrailed Meta-Agent Loops: Stress-Testing Policy Pinning, Budget Bounds, and Crash Recovery [7.414694666903067]
  GuardrailLoopはシミュレーションベースのテストベッドで、3つの運用契約を共同でテスト可能にする。 ハッシュピン付ポリシーは、目標、スコープ、評価アイデンティティ、予算、リリース条件を修正します。 有用な適応、状態回復、反復実行を分離する。
  論文  参考訳（メタデータ） (2026-09-10T21:22:08Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• A Reproducibility Protocol for Cross-Implementation Evaluation of Post-Quantum ACVP Test Vectors [0.0]
  本研究ではNIST ML-KEMの3つの公開実装のための製品中立プロトコルを定義する。 Protocol v2はプロバイダ固有の機能を凍結し、1つのバリデーションエラーを対称に適用し、選択されたすべてのケースを保存し、バイト、バリデーションバリデーション、サポートされた操作、アダプタエラーを分離する。
  論文  参考訳（メタデータ） (2026-08-13T21:29:59Z)
• Specification-first convergence with an AI coding agent: a case study of dismantling a core architectural invariant across 189 files in a 717k-line codebase with no test oracle and no human code review [0.0]
  本稿では,AI符号化エージェントによる大規模建築解体のケーススタディについて報告する。 ここで述べられているプロトコルの下で、エージェントはそれを正常に完了した。
  論文  参考訳（メタデータ） (2026-08-12T15:35:48Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。