論文の概要: Introspective Uncertainty Estimation for LLM-Based Code Generation

• arxiv url: http://arxiv.org/abs/2609.13975v1
• Date: Sat, 12 Sep 2026 14:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.628479
• Title: Introspective Uncertainty Estimation for LLM-Based Code Generation
• Title（参考訳）: LLMに基づくコード生成におけるイントロスペクティブ不確かさ推定
• Abstract要約: この論文は、コード生成タスクの応答レベルとラインレベルにおいて、イントロスペクティブ不確実性推定が確実に正しさを示すことができるかどうかを考察する。 目的は、隠れ状態が機能的コード正当性に関する情報をエンコードする範囲と、実際的なリスク評価や障害のローカライゼーションにどのように活用できるかを判断することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly used for code generation but can produce fluent yet functionally incorrect outputs, which limits trust in their usage for practical software engineering workflows. This thesis investigates whether Introspective Uncertainty Estimation (IUE), based on internal hidden-state representations of LLMs, can reliably indicate correctness at the response and line levels for code generation tasks. The objective is to determine the extent to which hidden states encode information about functional code correctness and how this can be leveraged for practical risk assessment and fault localization. Methodologically, this thesis combines response-level evaluation on LiveCodeBench (LCB) and BigCodeBench (BCB) with an augmentation pipeline that derives token- and line-level labels from incorrect programs. In this setup, it compares static and dynamic response-level features, evaluates generalization across tasks, programming domains, and token positions, and studies line-level fault localization. The results show that hidden states contain a strong response-level correctness signal. Static single-token probes perform best, while more elaborate dynamic strategies yield no consistent gains. While generalization across tasks, domains, and token positions is feasible, setting-dependent degradation largely remains for real-world software projects. At a fine granularity, line-level prediction is substantially harder than response-level estimation. However, in a conditional localization setup with known-incorrect programs, Top-K point-of-failure ranking remains effective. Overall, the findings suggest that hidden states are a robust and informative resource for estimating functional code correctness, supporting a two-stage workflow that combines response-level risk screening with targeted line-level prioritization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成にますます使われているが、機能的に不正確な出力を生成することができるため、実用的なソフトウェアエンジニアリングワークフローでの使用に対する信頼性が制限される。 本論文は,LLMの内部隠蔽状態表現に基づく検査不確かさ推定(Introspective Uncertainity Estimation, IUE)が,コード生成タスクの応答レベルと行レベルの正確性を確実に示すことができるかどうかを考察する。 目的は、隠れ状態が機能的コード正当性に関する情報をエンコードする範囲と、実際的なリスク評価や障害のローカライゼーションにどのように活用できるかを判断することである。 この論文は,LiveCodeBench (LCB) と BigCodeBench (BCB) の応答レベル評価と,不正プログラムからトークンや行レベルのラベルを導出する拡張パイプラインを組み合わせる。 このセットアップでは、静的および動的応答レベルの機能を比較し、タスク、プログラミングドメイン、トークン位置の一般化を評価し、ラインレベルの障害ローカライゼーションを研究する。 その結果,隠れ状態は強い応答レベルの正当性信号を含むことがわかった。 静的な単一トーケンプローブは、より精巧な動的戦略は、一貫した利得を得られない。 タスク、ドメイン、トークンの位置をまたいだ一般化は実現可能であるが、実際のソフトウェアプロジェクトには設定依存の劣化がほとんど残っている。 細粒度では、ラインレベルの予測は応答レベルの推定よりもかなり難しい。 しかし、既知の不正プログラムによる条件付きローカライズでは、Top-Kポイントオブフェイルランキングが有効である。 全体として、隠れ状態は機能的コードの正しさを推定するための堅牢で有益なリソースであり、応答レベルのリスクスクリーニングとターゲットラインレベルの優先順位付けを組み合わせた2段階のワークフローをサポートすることを示唆している。

関連論文リスト

• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming [0.0]
  大規模な言語モデル(LLM)は、リバースエンジニアリングタスクにますます適用されている。 しかし、彼らの能力に関する主張は、それを測定する能力よりも優れている。 本稿では,関数レベル基底真理をCソースから構築する証明追跡パイプラインであるReforgeを提案する。
  論文  参考訳（メタデータ） (2026-07-07T23:17:03Z)
• ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
  我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。 ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。 1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-01T09:58:59Z)
• How do Execution Features Improve Statistical Fault Localization? An Empirical Study [5.85833888070275]
  本研究は,統計的障害局所化と実行特徴の増大が,ローカライズ精度と開発者志向の検査作業を改善するか否かを評価する。 我々は,すべてのテスト4Py被験者に対してEFDDを用いて実行特徴を抽出し,オブジェクトごとのランダムな森林を訓練し,ソースラインに重要度をマップし,その結果の重みを確立されたSFL式と組み合わせる。
  論文  参考訳（メタデータ） (2026-06-29T14:07:47Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
  我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。 我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
  論文  参考訳（メタデータ） (2026-04-26T14:34:49Z)
• CodeCircuit: Toward Inferring LLM-Generated Code Correctness via Attribution Graphs [13.488544043942495]
  本研究の目的は、コード生成中に論理的妥当性を予測可能な内部デオード可能な信号が、モデル内のニューラルダイナミクスで符号化されているかどうかを検討することである。 複雑な残留流を分解することにより,音の推論と論理的失敗を区別する構造的シグネチャを同定することを目的とする。 Python、C++、Javaでの分析では、固有の正当性信号が多様な構文で堅牢であることが確認されている。
  論文  参考訳（メタデータ） (2026-02-06T03:49:15Z)
• VIRO: Robust and Efficient Neuro-Symbolic Reasoning with Verification for Referring Expression Comprehension [51.76841625486355]
  Referring Expression (REC) は、自然言語クエリに対応する画像領域をローカライズすることを目的としている。 最近のニューロシンボリックRECアプローチは、大規模言語モデル(LLM)と視覚言語モデル(VLM)を利用して構成推論を行う。 推論ステップ内に軽量な演算子レベルの検証器を組み込む,ニューロシンボリックなフレームワークであるVIROを紹介する。
  論文  参考訳（メタデータ） (2026-01-19T07:21:19Z)
• FeatBench: Evaluating Coding Agents on Feature Implementation for Vibe Coding [11.846768103642583]
  FeatBenchは、機能実装に焦点を当てた、バイブコーディングのための新しいベンチマークである。 FeatBenchは、ベンチマークを進化させるための品質と完全に自動化されたパイプラインを保証するために、マルチレベルのフィルタリングパイプライン上に構築されている。 我々の評価によると、ビブ符号化パラダイムにおける機能実装は重要な課題であり、最高成功率は29.94%である。
  論文  参考訳（メタデータ） (2025-09-26T11:47:50Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。