論文の概要: When LLM-Generated Refactorings Ripple: An Empirical Study of Repository Adoption Readiness
- arxiv url: http://arxiv.org/abs/2610.24790v1
- Date: Sat, 17 Oct 2026 17:29:52 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 11:56:51.296902
- Title: When LLM-Generated Refactorings Ripple: An Empirical Study of Repository Adoption Readiness
- Title(参考訳): LLM-Generated Refactorings Ripple:Repository Adoption Readinessの実証研究
- Abstract要約: 大規模な言語モデル(LLM)は、ファイルのソースにますます使われていますが、ファイルローカル評価では、リポジトリの採用に影響を与えるコントラクトや依存関係、呼び出し側の仮定の変更を明らかにしていません。
このギャップに対処するため、15のオープンソースJavaリポジトリから150のプロダクションファイルに対して1500回の生成テストを行ないました。
我々は,これらの候補を,局所的な変化,リポジトリに面した構造指標,検出された発信者影響,行動等価性指標,利用可能なテストエビデンスを用いて評価し,低リスク,レビュー重視,高契約/依存性リスク,あるいは不確定と分類した。
- 参考スコア(独自算出の注目度): 3.294884078309524
- License:
- Abstract: Large Language Models (LLMs) are increasingly used to refactor source files, but file-local evaluations do not reveal changes to contracts, dependencies, or caller assumptions affecting repository adoption. To address this gap, we conduct 1,500 generation attempts across 150 production files from 15 open-source Java repositories, five LLM configurations, and two dependency-aware generation conditions: single-prompt refactoring and LangGraph-based multi-agent refactoring. Of these attempts, 1,455 yield complete candidates eligible for analysis. We evaluate these candidates using local changes, repository-facing structural indicators, detected caller impact, the behavioural-equivalence indicator, and available test evidence, and categorize them as Low-risk, Review-needed, High Contract/Dependency Risk, or Inconclusive. The results show that 1,365 candidates (93.8%) are classified as High Contract/Dependency Risk, whereas 106 (7.3%) have at least one detected broken downstream caller and 290 (19.9%) have a false behavioural-equivalence indicator; only eight satisfy the Low-risk criteria. Within the reason-covered subset, the High-risk rate decreases under more conservative dependency-delta thresholds, while 60 of the 65 candidates with conclusive targeted-test outcomes pass, including 50 classified as High risk. Paired analyses of 705 complete pairs identify no statistically significant generation-condition difference in the principal risk indicators, although model configurations differ in specific detected risk channels. These findings suggest that practitioners should treat LLM-generated refactorings as candidates requiring staged repository-level verification, while future research should validate screening and extraction precision and strengthen compilation, behavioural, and coordinated multi-file verification.
- Abstract(参考訳): 大規模な言語モデル(LLM)は、ソースファイルのリファクタリングにますます使われていますが、ファイルローカル評価では、リポジトリの採用に影響を与えるコントラクトや依存関係、呼び出し側の仮定の変更を明らかにしていません。
このギャップに対処するため、15のオープンソースJavaレポジトリから150のプロダクションファイル、5つのLLM設定、および依存性対応の2つの生成条件である単一プロンプトリファクタリングとLangGraphベースのマルチエージェントリファクタリングから1,500の生成テストを実行しました。
これらの試みのうち、1,455は、分析に適する完全な候補を得る。
我々は,これらの候補を,局所的な変化,リポジトリに面した構造指標,検出された発信者影響,行動等価性指標,利用可能なテストエビデンスを用いて評価し,低リスク,レビュー重視,高契約/依存性リスク,あるいは不確定と分類した。
その結果,1,365名の候補者(93.8%)が高契約・依存リスクに分類され,106名(7.3%)が少なくとも1名のダウンストリーム呼び出し者,290名(19.9%)が虚偽の行動等価性指標を持ち,低リスク基準を満たすのはわずか8名であった。
原因を把握したサブセットでは、高いリスク率はより保守的な依存性デルタ閾値で減少し、65人の候補者のうち60人が最終目標テストの結果をパスし、50人がハイリスクに分類された。
705の完全対のペア解析では、特定の検出されたリスクチャネルでモデル構成が異なるが、主リスク指標の統計的に有意な生成条件の違いは見出されていない。
これらの結果から, LLM生成リファクタリングを段階的リポジトリレベルの検証を必要とする候補として扱うこと, 今後の研究は, スクリーニングと抽出の精度を検証し, コンパイル, 動作, コーディネートされた複数ファイル検証を強化することが示唆された。
関連論文リスト
- Cost-Effective Repository Exploration for Agentic Issue Localization [0.2715382584771446]
我々は、この段階を低価格モデルに委譲できるかどうか検討する。
我々は、早期の候補発見、トップ3のゴールドファイルカバレッジ、厳格なファイルセット回復、エージェント時間、トークン使用率を測定する。
高品質なエクスプローラーは、ローカライゼーションの指標を越えてリードするが、かなり安い運用ポイントが出現する。
論文 参考訳(メタデータ) (2026-08-30T09:16:33Z) - Retry Amplification in Distributed Systems: A Systematic Analysis of Retry Policies and Their Role in Cascading Failures [0.0]
本稿では、部分的故障時にリトライポリシーが生成する追加要求量の定量化指標であるリトライ増幅係数(RAF)を紹介する。
200のオープンソースのPythonマイクロサービスプロジェクトに関する調査では、明示的な再試行ロジックが11.5%で検出されている。
予算制約による再試行は,過渡的な断層から回復しつつ,ノリトリーベースラインに近い成功率を維持していることを示す。
論文 参考訳(メタデータ) (2026-08-26T06:04:03Z) - REFINE: A Multi-Agent LLM Approach for Evidence-Guided Code Refactoring [3.294884078309524]
REFINEはツールに依存しないエビデンス対応のマルチエージェントアプローチで、Javaファイルレベルの候補を生成する。
我々は15のオープンソースシステムから450のJavaファイル上でREFINEを評価する。
論文 参考訳(メタデータ) (2026-08-21T17:44:40Z) - A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳(メタデータ) (2026-08-05T14:01:10Z) - Cross-Cutting Security Analysis of LLM-Generated Code via Metamorphic Testing and Association Rule Mining [0.7844254062143549]
大規模言語モデル(LLM)はセキュリティ上の脆弱性のあるコードを生成することが多いが、これらの弱点を分離することは滅多にない。
本稿では,セキュリティ指向のメタモルフィックリレーショナル(MR)とアソシエーションルール(AR)マイニングを組み合わせて,LLM生成コードの脆弱性を検出するフレームワークを提案する。
論文 参考訳(メタデータ) (2026-07-13T19:10:10Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳(メタデータ) (2026-05-07T13:52:59Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳(メタデータ) (2025-09-15T02:25:38Z) - ORFuzz: Fuzzing the "Other Side" of LLM Safety -- Testing Over-Refusal [27.26251627767238]
大規模言語モデル(LLM)は、過度に保守的な安全対策のため、誤って良心的なクエリーを拒否する過度な拒絶を示す。
本稿では,LLMオーバーリフレクションの系統的検出と解析を行うための,最初の進化的テストフレームワークORFuzzを紹介する。
論文 参考訳(メタデータ) (2025-08-15T05:03:26Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳(メタデータ) (2024-11-05T01:11:28Z) - Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。
本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。
我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
論文 参考訳(メタデータ) (2024-09-24T14:52:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。