論文の概要: AssumptionMiner: Extracting, Tracing, and Revising Implicit Assumptions in LLM Code Generation
- arxiv url: http://arxiv.org/abs/2607.22898v1
- Date: Fri, 24 Jul 2026 20:22:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.923964
- Title: AssumptionMiner: Extracting, Tracing, and Revising Implicit Assumptions in LLM Code Generation
- Title(参考訳): AssumptionMiner: LLMコード生成における暗黙の推測の抽出、追跡、修正
- Abstract要約: AssumptionMinerは、暗黙の仮定を大規模言語モデル(LLM)の第一級アーティファクトとするフレームワークである。
コードに加えて、AssumptionMinerは明示的な仮定層、推論された制約と設計決定の構造化された表現を生成する。
仮定抽出、コードローカライゼーション、仮定誘導再生を評価した。
- 参考スコア(独自算出の注目度): 0.5414847001704249
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) generate code from natural-language prompts, yet real-world prompts rarely provide complete specifications. When prompts leave input formats, error handling, or design decisions unspecified, LLMs fill these gaps with implicit assumptions that shape the generated code's behavior and correctness. Because these assumptions remain hidden, generated code may satisfy tests while violating developer intent. We present AssumptionMiner, a framework that makes implicit assumptions a first-class artifact of LLM-based code generation. In addition to code, AssumptionMiner produces an explicit assumption layer, a structured representation of inferred constraints and design decisions that developers can inspect, confirm, or revise. An AST-based dependency graph enables targeted regeneration of only the code affected by a revised assumption. We also introduce a benchmark of 180 ambiguous programming tasks with 676 annotated assumptions, including a human-verified subset for evaluating code localization. We evaluate assumption extraction, code localization, and assumption-guided regeneration. Across open-source LLMs, a confidence-weighted ensemble achieves an F1 score of 0.816 for assumption extraction, improving on the strongest offline baseline by 3.6x. On the human-verified localization benchmark, AST-guided localization identifies more precise code regions than keyword-based and whole-file baselines. During assumption revision, targeted regeneration modifies less code than non-targeted alternatives while exposing challenges in handling cascading edits. These results demonstrate that making assumptions explicit improves the transparency and controllability of LLM-based code generation.
- Abstract(参考訳): 大規模言語モデル(LLM)は自然言語のプロンプトからコードを生成するが、現実のプロンプトが完全な仕様を提供することは滅多にない。
プロンプトが入力フォーマット、エラーハンドリング、あるいは設計上の決定を未特定にしておくと、LLMは生成されたコードの振る舞いと正しさを形作る暗黙の仮定でこれらのギャップを埋める。
これらの仮定は依然として隠されているため、生成したコードは開発者の意図に反してテストを満たす可能性がある。
暗黙的な仮定をLCMベースのコード生成の第一級の成果物とするフレームワークであるAssumptionMinerを提示する。
コードに加えて、AssumptionMinerは明示的な仮定層、推論された制約の構造化された表現、そして開発者が検査、確認、修正できる設計決定を生成する。
ASTベースの依存性グラフは、修正された仮定によって影響を受けるコードのみをターゲットとして再生成することを可能にする。
また、コードローカライゼーションを評価するための人間検証サブセットを含む、676の注釈付き仮定を持つ180のあいまいなプログラミングタスクのベンチマークも導入した。
仮定抽出、コードローカライゼーション、仮定誘導再生を評価した。
オープンソースLLM全体では、信頼度重み付けアンサンブルは仮定抽出のためのF1スコア0.816を達成し、最強のオフラインベースラインを3.6倍改善する。
人間認証ローカライゼーションベンチマークでは、AST誘導ローカライゼーションはキーワードベースやファイル全体のベースラインよりも正確なコード領域を特定する。
仮定修正の間、ターゲットのリジェネレーションは、非ターゲットの代替品よりも少ないコードを修正し、カスケーディング編集を扱う際の課題を明らかにします。
これらの結果は、仮定を明示的にすることで、LLMベースのコード生成の透明性と制御性が向上することを示している。
関連論文リスト
- Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳(メタデータ) (2026-06-24T15:58:11Z) - Task Abstention for Large Language Models in Code Generation [16.35286288670945]
大規模言語モデル(LLM)は、自動コード生成に革命をもたらした。
「一つはいわゆる幻覚である。」
本研究は,特定のコード生成タスクの実行を停止すべきか否かを判定し,幻覚を避けるためのタスク停止問題について検討する。
論文 参考訳(メタデータ) (2026-05-16T14:58:11Z) - RepoZero: Can LLMs Generate a Code Repository from Scratch? [13.87780777614509]
RepoZeroは、完全に自動化された実行ベースのレポジトリレベルの生成をスクラッチから検証できる最初のベンチマークである。
我々の結果は、RepoZeroをエンドツーエンドのコード生成のための、困難でスケーラブルで信頼性の高いテストベッドとして確立しています。
論文 参考訳(メタデータ) (2026-05-08T01:56:02Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳(メタデータ) (2026-05-02T11:31:33Z) - Are LLMs Reliable Code Reviewers? Systematic Overcorrection in Requirement Conformance Judgement [8.059802912761919]
我々は,大規模言語モデル(LLM)が自然言語要求にマッチするコードの体系的失敗を明らかにする。
より詳細なプロンプト設計、特に説明や修正提案を必要とするものは、より高い誤判定率をもたらす。
そこで本稿では,提案した修正を実効的証拠として扱う固定誘導検証フィルタを提案する。
論文 参考訳(メタデータ) (2026-02-28T08:35:25Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳(メタデータ) (2025-11-09T03:38:29Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳(メタデータ) (2025-07-30T08:08:48Z) - Correctness Assessment of Code Generated by Large Language Models Using Internal Representations [4.32362000083889]
大規模言語モデル(LLM)が生成するコードの正確性を評価する新しいフレームワークであるOPENIAを紹介する。
我々の経験的分析により、これらの内部表現が潜時情報を符号化し、生成したコードの正しさと強く相関していることが明らかとなった。
OPENIAはベースラインモデルより一貫して優れており、高い精度、精度、リコール、F1スコアを実現し、スタンドアロンコード生成の最大2倍の改善を実現している。
論文 参考訳(メタデータ) (2025-01-22T15:04:13Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳(メタデータ) (2023-12-14T19:09:22Z) - Fixing Large Language Models' Specification Misunderstanding for Better Code Generation [13.494822086550604]
muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。
まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。
muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
論文 参考訳(メタデータ) (2023-09-28T02:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。