Fugu-MT 論文翻訳(概要): Using Semantic Distance to Estimate Uncertainty in LLM-Based Code Generation

論文の概要: Using Semantic Distance to Estimate Uncertainty in LLM-Based Code Generation

arxiv url: http://arxiv.org/abs/2605.09023v1
Date: Sat, 09 May 2026 16:02:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-19 14:56:44.017155
Title: Using Semantic Distance to Estimate Uncertainty in LLM-Based Code Generation
Title（参考訳）: LLMに基づくコード生成における意味距離を用いた不確かさの推定
Abstract要約: LLMはコード生成において高い性能を示すが、その出力は正確性を保証するものではない。我々はこれらの選択を混乱させる分類法を導入し、セマンティックな距離認識の不確実性推定という、欠落した設計点を明らかにした。我々のメトリクスは、正確性に関する強力なプロキシを提供し、一貫して最先端のサンプルベースラインより優れています。
参考スコア（独自算出の注目度）: 1.1470070927586018
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLMs show strong performance in code generation, but their outputs lack correctness guarantees. Sample-based uncertainty estimators address this by generating multiple candidate programs and measuring their disagreement. However, existing estimators make different design choices about how behaviours are identified, aggregated, referenced and compared, making them difficult to assess. We therefore first introduce a taxonomy that disentangles these choices and reveals a missing design point: semantic distance-aware uncertainty estimation, which measures not only whether sampled programs disagree, but how severely their execution behaviours differ. Across LiveCodeBench, MBPP, HumanEval-X and BigCodeBench, spanning Python, Java and C++, our metrics provide strong proxies for correctness, and consistently outperform state-of-the-art sample-based baselines across both closed-source models (GPT-3.5-Turbo, GPT-4o-mini, Gemini-2.5-Flash-Lite, Claude Opus 4.5) and an open-source model (DeepSeek-Coder-V2). The method is practical: it requires neither model internals nor LLM-as-judge calls, remains robust across models, languages, sampling temperatures and fuzzing settings, and reduces runtime by approximately 48-79% relative to existing baselines.
Abstract（参考訳）: LLMはコード生成において高い性能を示すが、その出力は正確性を保証するものではない。サンプルベース不確実性推定器は、複数の候補プログラムを生成し、その不一致を測定することでこの問題に対処する。しかしながら、既存の推定者は、振る舞いの特定、集約、参照、比較について異なる設計選択を行い、評価を困難にしている。そこで我々はまず,これらの選択を混乱させ,欠落した設計点:意味的距離認識の不確実性推定(semantic distance-aware uncertainty estimation)を導入する。 LiveCodeBench、MBPP、HumanEval-X、BigCodeBenchにまたがって、Python、Java、C++にまたがって、我々のメトリクスは、正確性のための強力なプロキシを提供し、一貫して、両方のクローズドソースモデル(GPT-3.5-Turbo、GPT-4o-mini、Gemini-2.5-Flash-Lite、Claude Opus 4.5)とオープンソースモデル(DeepSeek-Coder-V2)で、最先端のサンプルベースベースラインより優れています。モデル内部もLDM-as-judgeコールも必要とせず、モデル、言語、サンプリング温度とファジィ設定を引き続き堅牢にし、既存のベースラインと比較してランタイムを約48～79%削減する。

関連論文リスト

Evaluating Language Models on Cross-Language Code Functional Equivalence [6.76025470599609]
CPP、Java、Pythonで書かれたプログラムのデータセットであるPolyHumanを紹介します。本データセットを用いて,オープンウェイトおよびプロプライエタリLLM間の言語内および言語間同値検出を評価する。モデルが関数同値性を誤って判断する系統的不一致の81例を分析した。
論文参考訳（メタデータ） (2026-08-25T01:41:00Z)
Latent Performance Profiling of Large Language Models [47.009623327601226]
隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
論文参考訳（メタデータ） (2026-05-28T14:41:26Z)
LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文参考訳（メタデータ） (2026-05-02T11:31:33Z)
Ensemble-Based Uncertainty Estimation for Code Correctness Estimation [36.53771380869671]
本研究では,モデルアンサンブル全体で集約されたサンプルの一貫性を評価することにより,不確実性を推定するEnsemble Semantic Entropy (ESE)を提案する。 LiveCodeBenchの実験では、ESEはシングルモデルセマンティックエントロピーよりもプログラムの正確性に強く関連している。また、単一モデルスケーリングと比較してFLOPを64.9%削減しながら性能を維持できるカスケーディングテストタイムスケーリングフレームワークCasを提案する。
論文参考訳（メタデータ） (2026-03-28T02:37:36Z)
Robust Search with Uncertainty-Aware Value Models for Language Model Reasoning [31.973976155760397]
値モデル誘導探索はLLM生成のステアリングに有効であるが、堅牢性の欠如に悩まされている。本研究では, 予測信頼性を定量化するために, 単一点値推定を値分布に置き換える不確実性認識値モデル (UVMs) と, 最適である確率に基づいて候補を選択するアルゴリズムであるグループトンプソンサンプリング (Group Thompson Sampling) の2つの主要な構成要素を持つ不確実性認識フレームワークを提案する。
論文参考訳（メタデータ） (2025-02-16T15:10:30Z)
Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文参考訳（メタデータ） (2024-08-20T09:42:26Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
API Is Enough: Conformal Prediction for Large Language Models Without Logit-Access [5.922444371605447]
本研究では,ロジットアクセスを伴わない大規模言語モデル (LLM) における不確実性を定量化する,広範囲にわたる課題に対処することを目的とする。 LLM の既存の Conformal Prediction (CP) メソッドは一般的に、APIのみの LLM では利用できないロジットへのアクセスを前提としている。本稿では,ロジットアクセスのないAPIのみのLCMに適した新しいCP手法を提案する。(2)予測セットのサイズを最小化し,(3)ユーザ定義のカバレッジの統計的保証を保証する。
論文参考訳（メタデータ） (2024-03-02T14:14:45Z)
Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。我々はLSMに答えを自己評価するように指示する。自己評価に基づくスコアリング手法をベンチマークする。
論文参考訳（メタデータ） (2023-12-14T19:09:22Z)
LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文参考訳（メタデータ） (2023-05-23T21:50:06Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。