論文の概要: AtomicCommitBench: Can Coding Agents Reconstruct Commit Histories from Squashed Patches?
- arxiv url: http://arxiv.org/abs/2607.03332v1
- Date: Fri, 03 Jul 2026 13:51:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 12:43:16.142307
- Title: AtomicCommitBench: Can Coding Agents Reconstruct Commit Histories from Squashed Patches?
- Title（参考訳）: AtomicCommitBench: コーディングエージェントは、スクワッドパッチからコミット履歴を再構築できるか?
- Abstract要約: コーディングエージェントは、機能の実装、バグ修正、パーティショニング、テスト、設定の編集を混ぜた1つのスクワッドパッチを返すことで、セッションを終了することが多い。
エージェントがコミットをグループ化し、再生可能なコミットシーケンスを具体化する。
私たちは10のPythonプロジェクトから800の連続的なエピソードを含むAtomicCommitBenchを構築します。
- 参考スコア（独自算出の注目度）: 9.689734830501429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents often finish a session by returning one squashed patch that mixes feature implementation, bug fixes, refactorings, tests, and configuration edits. While the final code may be correct, collapsing unrelated edits into one patch removes the history structure needed for review, selective revert, and later maintenance. We study retrospective commit-history reconstruction: given a completed squashed change, an agent groups its hunks into commits and materializes a replayable commit sequence. We formalize the task as hunk-to-commit partitioning with a replay requirement and build AtomicCommitBench, containing 800 real consecutive-commit episodes from 10 Python projects. Because multiple decompositions may be reasonable, we evaluate outputs using complementary metrics: PPAR for replay validity, ARI for reference-based grouping quality, and TCR for failure containment on scoreable modified-test episodes. Natural retrospective reconstruction proves substantially harder than replay checking or synthetic tangling. Although nearly all non-random methods achieve replay validity (PPAR >= 0.988), grouping quality ranges from 0.03 to 0.46 ARI. Matched synthetic composites are much easier than real same-author squashed diffs (+0.333 ARI). In our evaluation, the GPT-5.4 setup driven by Codex CLI (0.46 ARI) and the GLM-5 setup driven by Claude Code (0.43 ARI) outperform MiniMax (0.31) and Kimi (0.29). Qualitative analysis identifies same-file lumping and support-hunk drift as recurring failure modes. Dependency-Aware Commit Evidence (DACE) improves the lower-scoring setups by 0.05 to 0.08 ARI, indicating that dependency cues and hunk-role information help agents avoid locality-driven grouping errors. AtomicCommitBench enables evaluation of the commit histories produced by coding agents alongside the final code.
- Abstract（参考訳）: コーディングエージェントは、機能の実装、バグ修正、リファクタリング、テスト、設定の編集を混ぜ合わせた一箇所のパッチを返すことで、セッションを終了することが多い。
最終的なコードは正しいかもしれないが、無関係な編集を1つのパッチにラップすると、レビュー、選択的なリバージョン、後のメンテナンスに必要な履歴構造が削除される。
エージェントがコミットをグループ化し、再生可能なコミットシーケンスを具体化する。
我々は、タスクをリプレイ要件でハンク・ツー・コミットのパーティショニングとして形式化し、10のPythonプロジェクトから800回の連続コミットを含むAtomicCommitBenchを構築します。
複数の分解が妥当である可能性があるので、相補的なメトリクスを用いて出力を評価する: 再生妥当性PPAR、参照ベースのグループ化品質ARI、得点可能な修正テストエピソードにおける障害封じ込めTCR。
自然な振り返りの再構築は、リプレイチェックや合成タングリングよりもはるかに難しい。
ほとんどすべての非ランダムな手法が再生妥当性(PPAR >=0.988)を達成するが、グループ化の品質は0.03から0.46ARIの範囲である。
マッチングされた合成合成合成物は、実際の同一のスクアッシュディフ(+0.333 ARI)よりもはるかに容易である。
評価では,Codex CLI (0.46 ARI) が駆動する GPT-5.4 と Claude Code (0.43 ARI) が駆動する GLM-5 が MiniMax (0.31) と Kimi (0.29) を上回った。
定性的分析は、同じファイルのラッピングとサポートハンクドリフトを繰り返し失敗モードとして識別する。
Dependency-Aware Commit Evidence (DACE) は、ローショニングのセットアップを 0.05 から 0.08 ARI に改善し、依存関係のキューとハンクロール情報によって、エージェントがローカリティ駆動のグルーピングエラーを回避することを示唆している。
AtomicCommitBenchは、最終コードと一緒にコーディングエージェントによって生成されるコミット履歴の評価を可能にする。
関連論文リスト
- Beneath the Diff: Diagnosing and Mitigating Algorithmic Mode Collapse in Code-Level Autonomous Research Loops [11.99667127177886]
我々は、反復的なメトリック駆動のコード編集が、ループを超えて一般化する真の改善をもたらすことを示す。
本稿では,カテゴリ被覆再重み付け,永続的な編集メモリ,検証ゲートを組み合わせた軽量化を提案する。
論文 参考訳（メタデータ） (2026-08-31T08:11:19Z) - Temporal Validity on Real Software Histories: Eliminating Stale-Fact Errors in Code-Assistant Memory over GitHub Fixes [0.0]
Retrieval-augmented Generation (RAG) には時間モデルがない。
RAGは、古い値と新しい値の両方をほぼ同一の類似性で検索し、どの値が現在であるかを判断できないため、過渡値として機能する。
MemStrata は RAG の 0.57-0.59 に対して 0.91 の解答精度に達し、RAG の解答を強制すると36-38% の値となる。
論文 参考訳（メタデータ） (2026-08-21T02:48:36Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳（メタデータ） (2026-08-09T22:59:13Z) - Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。
バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。
本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
論文 参考訳（メタデータ） (2026-07-22T07:30:07Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Why Git Is the Memory Solution for the Agentic Development Lifecycle [0.0]
私たちは、メモリはgitバウンドで、リポジトリのバージョン管理に組み込まれるべきであると考えています。
この台帳では、2つの問題を別々に解決し、それらを組み合わせます。
ルータは、git-anchored構造図に幅を広げ、信頼されたエピソードにルックアップを向け、意思決定の合理化を行う。
論文 参考訳（メタデータ） (2026-07-15T22:06:59Z) - Self-Improving AI Coding Agents Through Accumulated Behavioral Rules: A Closed-Loop Framework [0.3867363075280543]
提案するクローズドループフレームワークでは,すべてのレビューコメントを永続的な行動規則として符号化する。
このフレームワークは、バージョン管理された命令ファイル、自己レビューチェックリスト、自動検証に設定された蓄積ルールを組み合わせる。
我々のフレームワークは、重み付けの更新なしに永続的なクロスセッション学習を実現し、既存のベンチマークが測定しない経験的な次元(時間とともに振る舞いの整合性)に対処する。
論文 参考訳（メタデータ） (2026-07-13T21:13:46Z) - CREDENCE: Claim Reduction for Decomposition & Enhanced Credibility -- Semantic Metrics and Convergence Analysis [0.0]
複合文を原子的検証可能なクレームに分解することは、信頼性の高い自動事実チェックの前提条件である。
従来の作業は、パラフレーズ的クレームの分解品質を体系的に過小評価するトークンオーバーラップ(Jaccard)メトリクスに依存していました。
両欠点に対処するクレーム分解および評価フレームワークであるクレデンスについて述べる。
論文 参考訳（メタデータ） (2026-06-18T05:48:37Z) - ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues [54.98461672730087]
ReproRepoは、人為的なGitHub問題を活用するスケーラブルな評価フレームワークで、現実的な再現ブロッカーを自然に監視する。
ReproRepoは、大規模なカンファレンスから1,149件の機械学習論文をインスタンス化し、4つのフロンティアモデルエージェント構成を評価します。
その結果, LLMエージェントは, コードを実行せずにも, 紙とリポジトリのペアから多くの実世界の問題を識別できることがわかった。
論文 参考訳（メタデータ） (2026-06-16T17:58:05Z) - SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers [55.39407031861402]
本稿では,スマートコントラクトデコンパイルのためのデータセットとベンチマーク手法であるSCDBenchを紹介する。
データセットには600の現実のSolidityコントラクトと、ペア化されたバイトコード入力、地味なソースコード、再生可能なセマンティックチェックポイントが含まれている。
我々は,GLM-5の変種を含むゼロショット逆コンパイル設定において,Claude Opus 4.7,GPT-5.3-Codex,GLM-5を評価した。
論文 参考訳（メタデータ） (2026-05-27T20:08:47Z) - TeamTR: Trust-Region Fine-Tuning for Multi-Agent LLM Coordination [11.65571332626047]
TeamTRは信頼領域フレームワークで、各コンポーネントの更新後にトラジェクトリを再サンプリングし、エージェントごとの分散制御を実行する。
TeamTRはシングルエージェントとシーケンシャルベースラインを平均7.1%で上回り、調整のレグレッションを緩和し、プラグアンドプレイのコンポーネント置換をサポートする。
論文 参考訳（メタデータ） (2026-05-01T23:42:57Z) - Runtime Execution Traces Guided Automated Program Repair with Multi-Agent Debate [8.424102114588559]
自動プログラム修復(APR)は複雑なロジックエラーとサイレント障害に悩まされる。
現在のLLMベースのAPRメソッドは主に静的であり、ソースコードと基本的なテスト出力に依存している。
我々は、パッチ検証のための共有制約としてランタイム事実を活用するマルチエージェントフレームワークであるTraceRepairを提案する。
論文 参考訳（メタデータ） (2026-04-03T02:23:25Z) - APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。
我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
論文 参考訳（メタデータ） (2026-03-31T00:24:56Z) - Outcome-Conditioned Reasoning Distillation for Resolving Software Issues [49.16055123488827]
本稿では, 検証済みパッチを監督として, リポジトリ内問題を解決したO-CRD(Outcome-Conditioned Reasoning Distillation)フレームワークを提案する。
歴史的修正から始まり、検証結果から段階的な修理トレースを後方に再構築する。
SWE-Bench Liteでは、GPT-4oではPass@1が10.4%、DeepSeek-V3では8.6%、GPT-5では10.3%増加する。
論文 参考訳（メタデータ） (2026-01-30T18:25:39Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - ARCS: Agentic Retrieval-Augmented Code Synthesis with Iterative Refinement [1.980982378865332]
ARCSは凍結モデル上で、予算化された合成実行再生ループを介して動作する。
生成前に関連するコードコンテキストを検索し、候補を提案し、テストに対して実行し、実行フィードバックに基づいて修正する。
LANLの科学コーパスでは、ベースラインRAGよりも+0.115改良されている。
論文 参考訳（メタデータ） (2025-04-29T05:15:52Z) - RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic
Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。
RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。
RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文 参考訳（メタデータ） (2023-09-12T08:52:56Z) - Detection Transformer with Stable Matching [48.963171068785435]
もっとも重要な設計は, 肯定的な事例の分類スコアを監督するために, 位置測定値のみを使用することである。
本原理では,DTRの分類損失とマッチングコストに位置測定値を統合することで,簡易かつ効果的な2つの修正を提案する。
12エポックおよび24エポックのトレーニング設定の下でResNet-50バックボーンを用いてCOCO検出ベンチマークで50.4および51.5APを達成する。
論文 参考訳（メタデータ） (2023-04-10T17:55:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。