論文の概要: Poison Valleys: Diagnosing Path-Dependent Failure in LLM Code Repair
- arxiv url: http://arxiv.org/abs/2610.21514v1
- Date: Thu, 15 Oct 2026 08:49:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.282899
- Title: Poison Valleys: Diagnosing Path-Dependent Failure in LLM Code Repair
- Title(参考訳): Poison Valleys: LLMコード修復におけるパス依存的障害の診断
- Abstract要約: Poison Valleys氏はこのパスを、2つの合成Pythonケースで1,844のモデルリクエストで追跡している。
妥当だが不正確なソフトウェアメカニズムを定義し、それぞれをモデルの仮説、実装計画、あるいはその両方に配置し、生成されたコードを評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When code-repair agents fail, final tests reveal that a patch is wrong but not which earlier commitment caused it or which software obligation failed. Poison Valleys traces this path in 1,844 model requests on two synthetic Python cases: PersistQueue adds atomic batch claiming to a disk-backed queue, while Dijkstra adds source-sensitive filtering to shortest-path search. We define plausible but incorrect software mechanisms, place each in a model's hypothesis, implementation plan, or both, and evaluate the generated code with an Oracle and targeted diagnostic coordinates. Moving the misconception from hypothesis to plan increased failure by 32.2% in PersistQueue and 28.9% in Dijkstra after matching the experimental mix. Different misconceptions produced distinct, model-dependent patterns of violated obligations, although several could converge on the same behavior. This creates a measured connection from upstream misconception to code mechanism and failure form. Code, data, and demo: https://poisonvalleys.org.
- Abstract(参考訳): コード修復エージェントが失敗した場合、最終テストはパッチが間違っているが、以前のコミットメントがそれを引き起こしたのか、ソフトウェア義務が失敗したのかを明らかにします。
Poison Valleys氏はこのパスを、2つの合成Pythonケースで1,844のモデルリクエストでトレースしている。
モデルの仮説,実装計画,あるいはその両方にそれぞれを配置し,Oracleと対象とする診断座標を用いて生成したコードを評価する。
仮説から計画への誤解を移すことで、PersistQueueでは32.2%、Dijkstraでは28.9%の失敗が生じた。
異なる誤解は、異なるモデルに依存した義務違反のパターンを生み出したが、いくつかは同じ行動に収束することができた。
これにより、上流の誤解からコードメカニズムやフェールフォームへの接続が測定される。
コード、データ、デモ:https://poisonvalleys.org
関連論文リスト
- PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution [68.74093425009342]
推論モデルは、コストが安いが誤解を招くショートカットにデフォルトを保ちながら、タスクを解決できる。
PyINEはPythonのインスツルメンテーションプログラムを使ってスケーラブルなエレケーションと監視を行うフレームワークである。
PyINE-v1は100万近い決定論的実行トレースから構築された最初のリリースです。
論文 参考訳(メタデータ) (2026-10-03T20:03:43Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。
各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。
PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
論文 参考訳(メタデータ) (2026-05-13T18:01:05Z) - Will It Break in Production? Metric-Driven Prediction of Residual Defects in Python Systems [1.5518561673506692]
Pythonのダイナミックな性質は、テストを複雑にし、いくつかの欠陥が検出を回避している可能性を高める。
本稿では,最新のMLとDLを用いて,リリース後の障害を予測できるかどうかを検討する。
論文 参考訳(メタデータ) (2026-04-29T13:30:17Z) - AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳(メタデータ) (2026-02-10T06:58:26Z) - Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳(メタデータ) (2025-09-29T18:20:27Z) - Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。
現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。
A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
論文 参考訳(メタデータ) (2025-09-12T16:51:15Z) - SURE: A Visualized Failure Indexing Approach using Program Memory
Spectrum [2.4151044161696587]
本稿では,プログラムメモリスペクトルを用いたsualized failuRe indExingアプローチであるSUREを提案する。
まず、失敗したテストケースの実行中に、事前に設定されたブレークポイントで実行時のメモリ情報を収集する。
2つの障害のプロキシとして機能するPMSイメージの任意のペアは、トレーニングされたシームズ畳み込みニューラルネットワークに供給される。
論文 参考訳(メタデータ) (2023-10-19T02:04:35Z) - Witnessing entanglement in trapped-ion quantum error correction under
realistic noise [41.94295877935867]
量子誤り補正(Quantum Error Correction, QEC)は、論理情報を複数の物理量子ビットに符号化することで冗長性を利用する。
トラップイオンプラットフォームで使用される2量子光シフトゲートの平均ゲート不忠実度を推定するために,詳細な顕微鏡誤差モデルを提案する。
次に、この現実的な誤差モデルを適用し、QECビルディングブロックとして機能する回路によって生成されるマルチパーティントの絡み合いを定量化する。
論文 参考訳(メタデータ) (2022-12-14T20:00:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。