論文の概要: Impact Is Not Invalidation: Ask About the Claim, Not the Diff
- arxiv url: http://arxiv.org/abs/2609.25130v1
- Date: Sun, 20 Sep 2026 19:33:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.041198
- Title: Impact Is Not Invalidation: Ask About the Claim, Not the Diff
- Title（参考訳）: インパクトは無効ではない - 主張について尋ねる - ディフではない
- Abstract要約: コーディングエージェントのためのメモリシステムは、リポジトリが変更されたとき、その格納されたクレームのどれが偽になったかを判断しなければならない。
モデル能力とは無関係な理由から、2番目の信号が失敗することを示す。
我々は、23のPythonライブラリから184個の実行検証されたフリップを持つ10,369のクレームを報告します。
- 参考スコア（独自算出の注目度）: 0.47745223151611654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memory systems for coding agents must decide, when a repository changes, which of their stored claims have become false. Content anchoring invalidates a claim whenever the artifact it came from changes, which fires constantly. Semantic-equivalence classification asks whether a diff preserves behavior, a question about the diff rather than about any stored claim. We show the second signal fails for a reason unrelated to model capability: asked whether a commit preserves behavior, five models spanning a 40x price range fire on 59-72% of real commits and reach precisions of only 0.291 to 0.329 against a 0.25 base rate. Asked instead whether one specific claim still holds, the same models on the same diffs reach 0.705 to 0.974. A control that hands the behavior-preservation judge the claim text, changing only the question, moves precision by 0.010 and 0.016; changing the question moves it by 0.49 and 0.65. We also compare against pytest-testmon, a deployed regression-test selector with coverage-derived dependency data: it reaches 0.868 recall at 0.415 precision, so near-complete knowledge of what a change can reach does not identify what it falsifies. Ground truth is execution, not annotation: a claim is a test function passing at commit t, and it has flipped if that same assertion text fails at t+1. Building this required an observation we did not find in prior work. On a CI-gated mainline a commit that leaves a pre-existing test failing cannot merge, so the naive construction has an empty positive class by design. We report 10,369 claims with 184 execution-verified flips mined from 23 Python libraries, splits held out by repository, a post-knowledge-cutoff split, a shuffled-diff null, a paraphrase control, and a leave-one-repository-out analysis over 17 repositories.
- Abstract（参考訳）: コーディングエージェントのためのメモリシステムは、リポジトリが変更されたとき、その格納されたクレームのどれが偽になったかを判断しなければならない。
コンテンツアンカーは、変更によって生じたアーティファクトが常に発火するたびに、クレームを無効にする。
意味論的同値分類は、差分が行動を保存するかどうかを問う。
コミットが行動を保存するか、実際のコミットの59～72%で40倍の価格範囲の砲火にまたがる5つのモデル、0.291～0.329の精度で0.25のベースレートで到達した。
特定の主張がまだあるかどうかを尋ねると、同じ差分上の同じモデルは 0.705 から 0.974 に達する。
行動保存を判断する制御は、クレームテキストを判断し、質問のみを変更し、精度を0.010と0.016で移動させ、質問を0.49と0.65で移動させる。
また、デプロイされた回帰テストセレクタであるpytest-testmonとカバレッジ依存性データを比較し、0.868リコールを0.415精度で達成した。
クレームはコミット t に渡すテスト関数であり、同じアサーションテキストが t+1 でフェールした場合、フリップした。
これを構築するには、以前の作業では見つからなかった観察が必要でした。
CIゲートのメインラインでは、既存のテストがフェールしたままのコミットはマージできない。
我々は、23のPythonライブラリから採掘された184個の実行検証されたフリップ、リポジトリによって保持される分割、認識後カットオフの分割、シャッフルした差分null、パラフレーズコントロール、17のリポジトリ上でのレポジトリ-アウト分析を含む10,369のクレームを報告します。
関連論文リスト
- Where the Verifier Fails: A Category-Level Audit of Reward Signals in RLVR [0.0]
報酬付き強化学習(RLVR)と標準ベンチマーク評価はどちらも、無料テキスト回答をバイナリ報酬に変換する自動検証に頼っている。
以前の調査では、1つの評価ハーネスは、自身の真実の答えの94%しか受け入れず、解析を非難している。
モデルではなく検証器にメタモルフィックテストを適用し、検証された等価解の変種を生成する。
我々は、307,420以上の4つの広く使用されている検証結果に対して、回答カテゴリごとの拒絶を計測する。
論文 参考訳（メタデータ） (2026-09-01T14:57:59Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Similarity Gates Approve Reversals: A Validity Audit of Embedding-Cosine Thresholds in Agent Systems [0.0]
エージェントフレームワークは、テキストブロックを埋め込みコサインの類似性によって比較し、固定されたカットオフを決定する品質ゲートを出荷する。
重複フィルタ、セマンティックキャッシュ、ドリフトガード、応答グレーダゲートは、質問に答えるために配置されます。
我々はこのゲートクラスを測定器として監査する。
論文 参考訳（メタデータ） (2026-08-10T20:36:40Z) - What Would Fix This RAG Failure? Auditing Counterfactual Response with Paired Evidence Interventions [0.0]
我々はPair-IDを紹介した。Pair-IDは1つのクエリ、検索状態、読み取り定数を格納し、次に2つの操作を横断する。
19,981のベンチマーククエリで11,105のQwen障害が特定され、SHA-256オーダーが1200を選択して、サンプリングされた応答を生成する。
その結果,ハッシュ選択された有資格障害サンプルにおいて有意な速度でエビデンスが発生し,観察された故障から部分的に予測可能であり,読者に条件付きであることが示唆された。
論文 参考訳（メタデータ） (2026-08-09T22:43:27Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳（メタデータ） (2026-07-30T16:41:40Z) - SemaDiff: Identifying Semantic-Changing Commits with Generated Code and Tests [5.3138104073306005]
変更点からのセマンティック保存コミットの排除は、ソフトウェアリポジトリのマイニングにおいて、依然としてオープンな課題である。
SemaDiffは、プレコミットとポストコミットバージョンでの同様のテスト実行の比較を通じて、セマンティック保存コミットを特定するための新しいアプローチである。
SemaDiffは、セマンティックな保存と -- 約76%のケースでコミットを変更する -- を正確に区別し、セマンティックなコミット検出の精度は100%である。
論文 参考訳（メタデータ） (2026-07-14T12:23:22Z) - How Far Are We from Detecting Flaky Tests? On the Limits of Code-Based Detection [41.369102837712795]
燃えるようなテストは同じコードバージョンでパスしてフェールし、テスト結果のシグナルを弱める。
コードベースのフレキネス検出器は強力なベンチマーク結果を報告しているが、実際の使用は限られている。
フレキネスはテストコードの静的な特性ではなく、テストが不安定かどうかを決定するのに必要な情報が欠けていることが多い、と私たちは主張する。
論文 参考訳（メタデータ） (2026-07-10T12:24:25Z) - Temporal Validity in Retrieval Memory: Eliminating Stale-Fact Errors for AI Agents over Evolving Knowledge [0.0]
Retrieval-augmented generationは、エージェントに蓄積した知識へのアクセスを与えるが、時間のモデルを持たない。
本稿では,時間的妥当性を維持する検索メモリMemStrataを提案する。
6つのベンチマークは7Bモデルでローカルに実行され、MemStrataはRAGを静的知識で結び、進化する知識で0.95-1.00の精度に達する。
論文 参考訳（メタデータ） (2026-06-25T01:31:53Z) - Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks [40.270213696031625]
OverEager-Genは、良質なタスクの振る舞いをオーバーイーガーするベンチマークである。
クロード・コードでは、同意宣言を削除するだけで、オーバーイーガー率は0.0%から17.1%に上昇する。
オーバーイーガー・ジェン(OverEager-Gen)は、入場前に各シナリオの識別力を認定する。
論文 参考訳（メタデータ） (2026-05-18T16:00:41Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。