論文の概要: Efficiency Hallucination: Formalizing and Measuring Behavioral Calibration in LLM-Based Code Optimization
- arxiv url: http://arxiv.org/abs/2609.14839v1
- Date: Sun, 13 Sep 2026 23:17:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.008994
- Title: Efficiency Hallucination: Formalizing and Measuring Behavioral Calibration in LLM-Based Code Optimization
- Title（参考訳）: 効率的な幻覚:LLMに基づくコード最適化における行動校正の形式化と測定
- Abstract要約: 大規模言語モデル (LLMs) は、既に最適化されたコードに対して不確定な性能クレームを持つ非機能変異を発行する。
これはAccess Trapによって駆動されるもので、バイナリベンチマークでは、安全な停止よりも不要な修正をインセンティブにしている。
分類ペナルティ手法を用いた検証フレームワークを提案し,9つのモデル上で180の最適化動作に対して評価を行った。
- 参考スコア（独自算出の注目度）: 0.6241175101549978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of Large Language Models (LLMs) into automated code optimization introduces a critical reliability risk we term the Efficiency Hallucination: an LLM's tendency to issue non-functional mutations with unsubstantiated performance claims on already-optimized code. This is driven by the Evaluation Trap, wherein binary benchmarks incentivize unnecessary modifications over safely abstaining. We present a validation framework using classification penalty methods, evaluated across 180 optimization runs on nine models (GPT, Claude, Gemini) using EffiBench. Under standard prompts, models exhibit a 100% over-edit rate on optimal code. Our guardrail raises correct abstention from 0% to to 44.4%, preserving a 100% edit rate on sub-optimal code with zero false abstentions. Calibration is uneven: GPT-5.4 Mini approaches near-perfect abstention, and simple code is recognized more reliably than complex code. Our framework offers a training-free mechanism to mitigate LLM overconfidence before deployment in production.
- Abstract（参考訳）: LLM(Large Language Models)を自動コード最適化に統合することで、我々は効率幻覚(Efficic Hallucination)と呼ぶ重要な信頼性リスクがもたらされる。
これはAccess Trapによって駆動されるもので、バイナリベンチマークでは、安全な停止よりも不要な修正をインセンティブにしている。
本稿では,EffiBench を用いた9つのモデル (GPT, Claude, Gemini) 上で180の最適化を実行する分類ペナルティ手法を用いた検証フレームワークを提案する。
標準のプロンプトでは、モデルは最適なコードに対して100%過度な速度を示す。
ガードレールは, 正しい吸収率を0%から44.4%に引き上げ, 偽吸収率ゼロの準最適符号に対する100%の編集率を維持した。
GPT-5.4 Miniはほぼ完全な棄権に近づき、単純なコードは複雑なコードよりも確実に認識される。
我々のフレームワークは、本番環境に配備する前にLCMの過信を軽減するための、トレーニング不要のメカニズムを提供します。
関連論文リスト
- LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - Trusted Weights, Treacherous Optimizations? Optimization-Triggered Backdoor Attacks on LLMs [23.226094056337075]
本稿では2つの相補的戦略からなる統合最適化トリガー攻撃フレームワークを提案する。
ある戦略は、モデルがコンパイルされたときにのみ、特定の入力の予測を反転させる。
もうひとつは、コンパイルされていない実行では停止しないが、コンパイルの最適化が適用されれば任意の入力をハイジャックするユニバーサルトリガーである。
論文 参考訳（メタデータ） (2026-05-20T02:55:56Z) - $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - How Confident Is the First Token? An Uncertainty-Calibrated Prompt Optimization Framework for Large Language Model Classification and Understanding [4.852493246050006]
大規模言語モデル(LLM)はアウトプットを自動回帰的に生成し、避けられないアウトプットの不確実性を引き起こす。
焦点損失にインスパイアされたファーストトケンベースの計量であるLSFU(Log-Scale Focal Uncertainty)を提案する。
UCPOFは、数点のベースラインよりも平均精度を6.03%向上し、フルRAGを5.75%上回り、平均検索トリガレートを50.66%低下させる。
論文 参考訳（メタデータ） (2026-02-23T11:55:14Z) - Peering Inside the Black Box: Uncovering LLM Errors in Optimization Modelling through Component-Level Evaluation [0.0]
大規模言語モデル(LLM)のためのコンポーネントレベル評価フレームワークを提案する。
GPT-5、LLaMA 3.1命令、DeepSeek Mathを様々な複雑さの最適化問題で評価する。
その結果、GPT-5は他のモデルよりも一貫して優れており、チェーン・オブ・シンク、自己整合性、モジュール性がより効果的であることを証明している。
論文 参考訳（メタデータ） (2025-10-19T17:47:59Z) - SGM: A Statistical Godel Machine for Risk-Controlled Recursive Self-Modification [24.250783705030653]
安全編集のための最初の統計アーキテクチャである統計ゴデルマシン(SGM)を紹介する。
SGMは証明に基づく要求を統計的信頼テスト(e-values, Hoeffding bounds)に置き換え、選択された信頼度レベルで優越性が証明された場合にのみ修正を認める。
また,提案するCTHS(Confirm-Triggered Harmonic Spending)も提案する。
論文 参考訳（メタデータ） (2025-10-11T14:09:37Z) - Static Analysis as a Feedback Loop: Enhancing LLM-Generated Code Beyond Correctness [10.153403762923976]
大規模言語モデル(LLM)は、HumanEvalやMBPPといったベンチマークで高いスコアを獲得することで、コード生成において印象的な能力を示している。
本研究では,PythonSecurityEvalベンチマークを用いて,複数の次元にまたがる高品質なコードを生成するLLMの能力を体系的に評価する。
本稿では、BanditとPylintを利用してコード品質の問題を特定し解決する、反復的な静的解析駆動プロンプトアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-08-20T04:31:31Z) - AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。
テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。
アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文 参考訳（メタデータ） (2025-04-29T17:36:05Z) - HALO: Hadamard-Assisted Lower-Precision Optimization for LLMs [48.55966021231297]
本稿では,トランスフォーマーのための新しい量子化学習手法HALOを提案する。
提案手法により, 前方・後方パスにおける行列乗算の精度が低くなることが保証される。
LLAMAファミリーモデルに適用すると、HALOは様々なタスクの微調整中にほぼ完全精度に等しい結果が得られる。
論文 参考訳（メタデータ） (2025-01-05T18:41:54Z) - DSTC: Direct Preference Learning with Only Self-Generated Tests and Code to Improve Code LMs [56.4979142807426]
UnderlinetextbfDirect Preference Learning with only underlinetextbfSelf-Generated underlinetextbfTests and underlinetextbfCode (DSTC)を紹介する。
DSTCは自己生成コードスニペットとテストのみを使用して信頼性の高い選好ペアを構築する。
論文 参考訳（メタデータ） (2024-11-20T02:03:16Z) - Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization [78.82586283794886]
$chi2$-Preference Optimization(chi$PO)は、オーバー最適化に対して確実に堅牢なオフラインアライメントアルゴリズムである。
$chi$POは、正規化による不確実性に直面して悲観主義の原理を実装している。
$chi$POの単純さと強力な保証により、オーバー最適化に対して確実に堅牢な、実用的で汎用的なオフラインアライメントアルゴリズムとなった。
論文 参考訳（メタデータ） (2024-07-18T11:08:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。