論文の概要: Accepted but Wrong: Silent Failures of LLM Code Repairs after API Migrations

• arxiv url: http://arxiv.org/abs/2611.08269v1
• Date: Thu, 05 Nov 2026 16:41:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.58138
• Title: Accepted but Wrong: Silent Failures of LLM Code Repairs after API Migrations
• Title（参考訳）: API移行後のLLMコード修復の無意味な失敗
• Abstract要約: 実行時またはAPI移行後、LLMが削除されたプロシージャはクリーンに実行され、間違った結果を返すことができる。 CPython,Node.js,Pythonの60変更を対象とする73タスクの事前登録調査を報告する。 すべての候補は、保持されていないコントラクトに対して、実際のランタイム上で実行される。
• 参考スコア（独自算出の注目度）: 12.527950208666091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: After a runtime or API migration, an LLM-repaired procedure can run cleanly yet return wrong results, and a release check on typical test inputs ships it. We report a preregistered study of 73 tasks covering 60 documented changes in CPython, Node.js and SQLite. Every candidate is executed on the real runtimes against withheld contracts. Over the complete repair space, the all-assertions gate on typical inputs released 0.410 of wrong repairs. One edge input written from the release note cut this to 0.065, and to 0.061 on 15 unseen clusters. Three inputs from a blind GPT-5.6-luna writer that never saw the program reached 0.070. Two further frozen stages enlarged the menu to 1491 fragments and then added 233 hard distractors that match the legacy output on typical inputs. The edge input (0.058) and the frontier-model writer (0.058) passed their preregistered tests. Yet 0.168 and 0.153 of the hard wrong programs still passed. Two local-model writers failed their preregistered tests. Across four model families, the edge input cut wrong releases per attempt in all three open-weight families on all three menus, for example from 0.233 to 0.057, without lowering correct completion. Self-tests helped less. A blind AI audit flagged 34 contracts as stricter than their requirements. Dropping the disputed checks changed 0 verdicts, but class-label disputes remain open. No model-written code was executed. Artifacts are available from the authors on request.
• Abstract（参考訳）: 実行時またはAPI移行後、LCMが削除されたプロシージャはクリーンに実行され、間違った結果を返すことができ、典型的なテスト入力のリリースチェックがそれを出荷する。 我々は、CPython、Node.js、SQLiteのドキュメント変更60件をカバーする73のタスクについて事前登録した調査を報告した。 すべての候補は、保持されていないコントラクトに対して、実際のランタイム上で実行される。 完全な修理スペースにおいて、典型的な入力の全てのアサーションゲートは、間違った修理の0.410を放出した。 リリースノートから書かれた1つのエッジ入力は、これを0.065にカットし、15の未確認クラスタで0.061にカットした。 盲目のGPT-5.6-lunaライターからの3つのインプットが0.070に到達した。 さらに2つの凍ったステージがメニューを1491個のフラグメントに拡大し、その後233個のハードトラクタを追加した。 エッジ入力(0.058)とフロンティアモデルライター(0.058)は、事前に登録されたテストに合格した。 しかし、難しいプログラムの0.168と0.153は依然として通過している。 2人の地元のモデルライターが事前登録テストに失敗しました。 4つのモデルファミリにまたがって、エッジ入力は、3つのメニューのすべてのオープンウェイトファミリ(例えば0.233から0.057)において、正しい完成度を下げることなく、試み毎に間違ったリリースをカットした。 自己テストは役に立たなかった。 盲目のAI監査は、要求よりも厳格な34の契約を通知した。 論争の的となった小切手は0の評決を変更したが、クラスラベルの論争は未解決のままだった。 モデルで書かれたコードは実行されなかった。 アーティファクトは、著者から要求に応じて入手可能である。

関連論文リスト

• Signed but Steerable: Measuring and Closing the Text-Vector Integrity Gap in Offline Retrieval-Augmented Generation [45.88028371034407]
  ベクトルを再計算してコサイントレランス内で受け入れる検証器は、予測可能なクエリの共有を攻撃者に譲る。 ローカル言語モデルを実行するRaspberry Pi 5では、このような攻撃は正しい回答を0.75から0.39に下げる。 一般的な浮動小数点および動的INT8推論パイプラインは、バッチサイズやアーキテクチャでビット再生可能であることを示す。
  論文  参考訳（メタデータ） (2026-11-04T13:32:04Z)
• Trust Mechanisms for Offline Generative AI at the Edge: A Connectivity-Regime Framework and an Empirical Study on a Raspberry Pi 5 [45.88028371034407]
  ジェネレーティブAIと大規模言語モデル(LLM)がモノのインターネットに移行しつつある。 ほとんどのデプロイメントはクラウド接続を前提としており、多くのIoT設定は断続的、制限的、あるいは接続不能である。 提案するコネクティビティ・レジーム・フレームワーク (C0-C4) は, 推論時信頼機構の分類法であり, 署名されたバージョン付き知識パックである。
  論文  参考訳（メタデータ） (2026-10-24T15:23:25Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
  言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。 我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。 52,988件の要求を監査し、スピアマン0.400で0.90と一致した。 証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
  論文  参考訳（メタデータ） (2026-09-03T17:59:43Z)
• AI-Assisted Design of a Post-Quantum Cryptographic Accelerator: A Deployed-Silicon Case Study [0.4251773265892765]
  我々は、標準の受け入れゲートを、事実上のゴールデンレファレンスオラクルに置き換える。 エージェント型大規模言語モデルがML-KEM-768とML-DSA-65アクセラレータを駆動する実験を232回報告した。
  論文  参考訳（メタデータ） (2026-09-03T16:34:50Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• PatchWrite: One Line, Not One Section -- Compile-Gated, Validity-Preserving Editing for AI-Drafted Manuscripts [2.7819582252059405]
  PatchWriteは、候補編集がコミットされた原稿状態になる方法を制約する。 EDIT N Mの編集とロールバックを再利用するが、コンパイルの受け入れを致命的なログチェックで制限する。 いずれのチェックも失敗する候補は拒否され、前のHEADは保持される。
  論文  参考訳（メタデータ） (2026-08-24T09:04:19Z)
• Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
  私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。 モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
  論文  参考訳（メタデータ） (2026-08-02T05:00:44Z)
• Specification Grounding Drives Test Effectiveness for LLM Code [1.8620637029128544]
  仕様でテストのグラウンディングを行うと、このベースラインよりも38パーセントの割合で正しいコードを生成します。 誤検出率は33%(Pythonの標準ライブラリーオラクルに対して68%)から0%に削減されている。
  論文  参考訳（メタデータ） (2026-07-07T14:11:00Z)
• Learning to Generate Unit Tests for Automated Debugging [52.63217175637201]
  ユニットテスト(UT)は、コードの正確性を評価するだけでなく、大きな言語モデル(LLM)にフィードバックを提供する上でも重要な役割を果たします。 提案するUTGenは,LLMに対して,予測出力とともにエラーを示す単体テスト入力を生成することを教える。 UTGen は他の LLM ベースラインを7.59% 上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。