論文の概要: DevIntent: How Much Does LLM-Generated Code Violate Developer Intent?
- arxiv url: http://arxiv.org/abs/2608.07614v1
- Date: Fri, 07 Aug 2026 00:07:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.456815
- Title: DevIntent: How Much Does LLM-Generated Code Violate Developer Intent?
- Title（参考訳）: DevIntent: LLMで生成されたコードは開発者のインテントにどの程度影響しますか?
- Abstract要約: Intent Violation Rate (IVR)とHumanEval+から派生した49プロブレムのパイロットベンチマークを紹介する。
各問題は、暗黙の制約を明確化プロンプトから取り除き、それらを隠された制約テストとしてエンコードする。
92%以上をパスしたが、半分以上の問題(54.5%と63.5%)では意図に反していない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code generated by LLMs can violate a developer's implicit intentions when given an ambiguous prompt, yet standard benchmarks measure only whether code passes its stated test. We introduce the Intent Violation Rate (IVR) and a 49-problem pilot benchmark derived from HumanEval+. Each problem strips implicit constraints from a clarified prompt and encodes them as hidden constraint tests. IVR measures the fraction of LLM-generated solutions that pass the stated (visible) tests yet fail hidden constraint tests that capture unstated intent. Evaluating Claude Sonnet 4.6 and OpenAI GPT 4.1, we find both pass over 92\% of stated tests yet violate intent in over half of problems (54.5\% and 63.5\%), following a systematic, bimodal pattern consistent across both models. Out findings indicate that pass rates overstate how well generated code reflects developer intent.
- Abstract（参考訳）: LLMによって生成されたコードは、曖昧なプロンプトを与えられた場合、開発者の暗黙の意図に反する可能性がある。
Intent Violation Rate (IVR)とHumanEval+から派生した49プロブレムのパイロットベンチマークを紹介する。
各問題は、暗黙の制約を明確化プロンプトから取り除き、それらを隠された制約テストとしてエンコードする。
IVRは、(可視)テストに合格するLLM生成ソリューションのごく一部を計測するが、隠された制約テストに失敗し、未定のインテントをキャプチャする。
Claude Sonnet 4.6 と OpenAI GPT 4.1 を評価すると、これらのテストの 992 % 以上をパスしたが、半分以上の問題 (54.5 % と 63.5 %) では意図に反していないことが分かる。
結果から、パスレートは、生成したコードが開発者の意図をいかに反映しているかを誇示している。
関連論文リスト
- How Far Are We from Detecting Flaky Tests? On the Limits of Code-Based Detection [41.369102837712795]
燃えるようなテストは同じコードバージョンでパスしてフェールし、テスト結果のシグナルを弱める。
コードベースのフレキネス検出器は強力なベンチマーク結果を報告しているが、実際の使用は限られている。
フレキネスはテストコードの静的な特性ではなく、テストが不安定かどうかを決定するのに必要な情報が欠けていることが多い、と私たちは主張する。
論文 参考訳（メタデータ） (2026-07-10T12:24:25Z) - Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。
BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。
LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
論文 参考訳（メタデータ） (2026-05-24T05:24:09Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳（メタデータ） (2026-05-07T13:52:59Z) - Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。
最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。
Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
論文 参考訳（メタデータ） (2026-03-16T17:58:13Z) - Assertion-Aware Test Code Summarization with Large Language Models [0.0]
単体テストは、テスト意図を伝える簡潔な要約を欠くことが多い。
本稿では,開発者による要約と組み合わせた実世界のJavaテストケース91のベンチマークを示す。
論文 参考訳（メタデータ） (2025-11-09T04:58:32Z) - SemGuard: Real-Time Semantic Evaluator for Correcting LLM-Generated Code [46.20378145112059]
ポストホック修復パイプラインは、実行後にのみそのような障害を検出する。
本稿では,実時間で行レベルのセマンティック監視を行うセマンティック評価フレームワークSemGuardを紹介する。
論文 参考訳（メタデータ） (2025-09-29T09:21:32Z) - Evaluating Large Language Models for Code Review [2.0261749670612637]
GPT4oとGemini 2.0 Flashを492 AIでテストしました。
GPT4o と Gemini 2.0 Flash はそれぞれ68.50% と63.89% のコード正当性を正しく分類し、67.83% と54.26% のコード正当性を修正した。
論文 参考訳（メタデータ） (2025-05-26T16:47:29Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - CLEVER: A Curated Benchmark for Formally Verified Code Generation [53.5486188696892]
$rm Csmall LEVER$は、リーンにおけるエンドツーエンドのコード生成のための161の問題を、高品質でキュレートしたベンチマークである。
それぞれの問題は、(1)堅実な仕様と一致する仕様を生成するタスク、(2)この仕様を確実に満足するリーン実装を生成するタスクで構成されています。
論文 参考訳（メタデータ） (2025-05-20T05:15:47Z) - Eliminating Hallucination-Induced Errors in LLM Code Generation with Functional Clustering [0.0]
機能的クラスタリング(Functional Clustering, ブラックボックスラッパー)は, 覚醒によるほとんどすべてのエラーを排除し, 調整可能な信頼スコアを提供する。
我々の検証は、解決可能なタスクのベースラインパス@1を保存するが、返却された回答のエラー率を65%から2%に下げる。
このメソッドはサンプリングとサンドボックスの実行のみを必要とするため、クローズドソースAPIや将来のモデルには適用されない。
論文 参考訳（メタデータ） (2025-05-16T18:19:38Z) - DeCon: Detecting Incorrect Assertions via Postconditions Generated by a Large Language Model [22.38753408614465]
対象問題に対するLLM生成後条件による誤認識を効果的に検出する,DeCon という新しい手法を提案する。
デコンは64%以上(それぞれGPT-3.5とGPT-4で検出された63%と65.5%)の誤ったアサーションを4つの最先端LCMで検出できる。
論文 参考訳（メタデータ） (2025-01-06T10:25:28Z) - Measuring the Influence of Incorrect Code on Test Generation [22.168699378889148]
間違ったコードエクスペリエンスのために生成されたテストは、バグ検出率を47%上回っている。
+18%の精度、+4%のカバレッジ、+34%のバグ検出の改善は、自然言語によるコード記述を提供することで達成できる。
論文 参考訳（メタデータ） (2024-09-14T15:17:34Z) - Gradient Cuff: Detecting Jailbreak Attacks on Large Language Models by Exploring Refusal Loss Landscapes [61.916827858666906]
大規模言語モデル(LLM)は、ユーザがクエリを入力し、LLMが回答を生成する、顕著な生成AIツールになりつつある。
害と誤用を減らすため、人間のフィードバックからの強化学習のような高度な訓練技術を用いて、これらのLLMを人間の価値に合わせる努力がなされている。
近年の研究では、組込み安全ガードレールを転覆させようとする敵のジェイルブレイクの試みに対するLLMの脆弱性を強調している。
本稿では,脱獄を検知するGradient Cuffという手法を提案する。
論文 参考訳（メタデータ） (2024-03-01T03:29:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。