論文の概要: Can Large Language Models Resolve Real Java Merge Conflicts? An Evaluation with a Calibrated LLM-as-Judge
- arxiv url: http://arxiv.org/abs/2607.27674v1
- Date: Thu, 30 Jul 2026 04:38:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.397187
- Title: Can Large Language Models Resolve Real Java Merge Conflicts? An Evaluation with a Calibrated LLM-as-Judge
- Title（参考訳）: 大規模言語モデルは本当のJavaマージ競合を解消できるか? -LCM-as-Judgeによる評価-
- Abstract要約: 大規模言語モデル(LLM)は、ほぼあらゆる競合に対する候補解決を生成することができる。
これらの解像度が実際にスケールに優れているかどうかを測るのは困難です
ConflictBenchの実際のJavaマージ競合について、両問題を一緒に研究する。
- 参考スコア（独自算出の注目度）: 6.965857844586889
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Merge conflicts are a recurring cost of collaborative software development, and the traditional structured and semi-structured merge tools that address them frequently abstain: when their heuristics do not apply, they leave the conflict unresolved. Large language models (LLMs) can instead produce a candidate resolution for almost any conflict, but measuring whether those resolutions are actually good at scale is hard, because obtaining human desirability judgments for every model output does not scale. We study both problems together on real Java merge conflicts from ConflictBench. We first build an LLM solver as a generate-validate-retry agent that uses only inference-time signals (conflict markers, a Java parser, and duplicate-declaration checks) and never sees the developer's answer. We then evaluate its resolutions with a two-metric suite: (1) a developer-match LLM-as-judge implemented as a G-Eval metric and, crucially, calibrated against ConflictBench's human labels before use, and (2) a deterministic structural-validity check that uses no LLM. On a meta-evaluation of 292 human-labeled cases, the judge reaches 100% precision (zero false accepts) at 64.6% recall, so every acceptance is trustworthy and every downstream rate is a conservative lower bound. Under this validated judge, LLM solvers match the developer's own resolution on about 55% of true conflicts (conservative floor), and under a coverage-fair comparison the LLMs (55-59%) beat the strongest traditional tool (AutoMerge, 36.7%) by roughly 18-22 points; the edge comes almost entirely from coverage, not raw accuracy, since the tools abstain on 20-90% of conflicts while the LLM under forced resolution abstains on none. Finally, the LLM judge accepted 4 of the 5 resolutions that fail the deterministic structural check, evidence that structural correctness must not be delegated to an LLM.
- Abstract（参考訳）: マージコンフリクトは、コラボレーションソフトウェア開発の繰り返し発生するコストであり、従来の構造化され、半構造化されたマージツールは、それらに頻繁に対処する。
大規模言語モデル(LLM)は、ほぼあらゆる競合に対して候補分解能を生成することができるが、これらの分解能が実際にスケールに優れているかどうかを測定することは困難である。
ConflictBenchの実際のJavaマージ競合について、両問題を一緒に研究する。
まず、予測時間信号(衝突マーカー、Javaパーサ、重複宣言チェック)のみを使用し、開発者の回答を決して見ないジェネレータとしてLCMソルバを構築します。
1)G-Evalメートル法として実装され,かつ重要な点として,ConflictBenchの人間ラベルに対する校正と,(2)LLMを使用しない決定論的構造妥当性チェックである。
292件のメタ評価では、判事は64.6%のリコールで100%の精度(ゼロの偽の受理)に達したため、全ての受理は信頼できるものであり、下流の速度は保守的な下限である。
LLMソルバは、真の対立(保守的なフロア)の約55%で開発者自身の解決と一致し、LLM(55-59%)が最強の伝統的なツール(AutoMerge, 36.7%)を約18-22ポイント上回った。
最後に、LLM判事は、決定論的構造チェックに失敗する5つの決議のうち4つを受け入れた。
関連論文リスト
- When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。
判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。
大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
論文 参考訳（メタデータ） (2026-07-09T02:46:51Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery [51.07538881798502]
大規模言語モデル(LLM)は、統計的推論を補完する将来的なドメイン知識の源を提供する。
我々は、LLMドメイン知識を統計的因果探索アルゴリズムのアンサンブルに確実に統合するフレームワークであるCauTionを提案する。
CauTionは、データ中心とLLM拡張ベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2026-06-02T13:07:43Z) - Merge-Bench: Resolve Merge Conflicts with Large Language Models [1.8162282886873073]
本稿では,バージョン管理統合の困難かつ重要な課題に対して,機械学習を適用した。
私たちは1439のGitHubリポジトリから7938の現実世界のマージコンフリクトハンクのデータセットMerge-Benchを構築しました。
Javaプログラムのマージ競合を解決するために、モデルであるLLMergeJをトレーニングしました。
論文 参考訳（メタデータ） (2026-05-25T14:17:48Z) - LLM-based vs. Search-based Merge Conflict Resolution: An Empirical Study of Competing Paradigms [0.0]
大規模言語モデル(LLM)に基づく生成的アプローチと検索ベースソフトウェア工学(SBSE)からの最適化手法
本稿では,これらのパラダイムを直接比較し,実世界のシナリオにおけるそれらの能力と限界を識別する実験を行った。
論文 参考訳（メタデータ） (2026-05-15T21:34:32Z) - OpenDeepThink: Parallel Reasoning via Bradley-Terry Aggregation [53.88666485159289]
OpenDeepThinkは、集団ベースのテスト時間計算フレームワークで、ペアワイズBradley-Terryの比較によって選択する。
OpenDeepThinkはGemini 3.1 ProのCodeforces Eloを8回のLCMコールラウンドで+405ポイント引き上げる。
CF-73は、国際グランドマスターアノテーションによる73の専門家評価コードフォース問題と、公式判決に対する99%の地域評価合意のキュレートされたセットである。
論文 参考訳（メタデータ） (2026-05-14T17:57:40Z) - ConInstruct: Evaluating Large Language Models on Conflict Detection and Resolution in Instructions [26.40258251641021]
このデータセットは、ユーザインストラクション内の競合を検出し、解決するLarge Language Modelsの機能を評価するためのベンチマークである。
ほとんどのプロプライエタリなLCMは強力なコンフリクト検出能力を持っているが、オープンソースのモデルではDeepSeek-R1のみが同様の強力な性能を示している。
強いコンフリクト検出能力にもかかわらず、LLMは競合する制約に直面したときに、ユーザにコンフリクトや要求の明確化を明示的に通知することは滅多にない。
論文 参考訳（メタデータ） (2025-11-18T10:49:37Z) - Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。
原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。
本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
論文 参考訳（メタデータ） (2025-01-02T16:38:21Z) - CONGRA: Benchmarking Automatic Conflict Resolution [3.9910625211670485]
ConGraは、ソフトウェアマージツールのパフォーマンスを評価するために設計されたベンチマークスキームである。
我々は34の現実世界プロジェクトから44,948のコンフリクトに基づいて大規模な評価データセットを構築した。
論文 参考訳（メタデータ） (2024-09-21T12:21:41Z) - WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。
本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。
我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
論文 参考訳（メタデータ） (2024-06-19T20:13:42Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳（メタデータ） (2023-05-23T21:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。