Fugu-MT 論文翻訳(概要): Complexity-Aware Evaluation of LLM Comprehension

論文の概要: Complexity-Aware Evaluation of LLM Comprehension

arxiv url: http://arxiv.org/abs/2609.37405v1
Date: Tue, 29 Sep 2026 12:42:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-30 21:28:47.494988
Title: Complexity-Aware Evaluation of LLM Comprehension
Title（参考訳）: LLM理解の複雑さを考慮した評価
Abstract要約: 大きな言語モデル(LLM)は、既存のソースコードを理解する必要があるソフトウェア工学のタスクにますます使われています。本稿では,シクロマティック複雑性,ネスト深さ,分岐係数,ハルステッド体積を用いて,LLMコードの理解を評価するための複雑性を考慮したフレームワークを提案する。我々はDepSeek-Coder-V2とLlamaを,300以上のPython関数に対する自動入出力予測と手作業による意味理解という2つの相補的なタスクを通じて評価した。
参考スコア（独自算出の注目度）: 0.5735035463793009
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) are increasingly used for software engineering tasks that require understanding existing source code, including behavior prediction, function explanation, debugging, and code review. However, aggregate benchmark accuracy can conceal how model reliability changes as source code becomes structurally more complex. This paper presents a complexity-aware framework for evaluating LLM code comprehension using cyclomatic complexity, nesting depth, branching factor, and Halstead volume. We evaluate DeepSeek-Coder-V2 and Llama through two complementary tasks: automatic input-output prediction over 300 Python functions and manually assessed semantic comprehension over a balanced subset of 60 functions. The functions are grouped into Low-, Medium-, and High-complexity bands. DeepSeek-Coder-V2 achieves an overall automatic accuracy of 78.33%, compared with 70.33% for Llama. However, accuracy decreases substantially from Low to High complexity, from 93.52% to 52.78% for DeepSeek-Coder-V2 and from 87.04% to 47.22% for Llama. Incorrect predictions are consistently associated with higher values of all four complexity metrics, and correlation and logistic-regression analyses confirm broadly comparable negative associations between structural complexity and correctness. Manual semantic comprehension shows the same degradation pattern, with accuracy decreasing from 100.00% to 75.00% for DeepSeek-Coder-V2 and from 90.00% to 60.00% for Llama. These findings demonstrate that complexity-aware evaluation provides a more diagnostic assessment of LLM code-comprehension reliability than aggregate accuracy alone.
Abstract（参考訳）: 大規模言語モデル(LLM)は、振る舞い予測、機能説明、デバッグ、コードレビューなど、既存のソースコードを理解する必要のあるソフトウェアエンジニアリングタスクにますます使われています。しかし、アグリゲートベンチマークの精度は、ソースコードが構造的に複雑になるにつれてモデルの信頼性がどのように変化するかを隠すことができる。本稿では,シクロマティック複雑性,ネスト深さ,分岐係数,ハルステッド体積を用いて,LLMコードの理解を評価するための複雑性を考慮したフレームワークを提案する。我々はDeepSeek-Coder-V2とLlamaを,300以上のPython関数に対する自動入出力予測と60関数のバランスの取れたサブセットに対する手作業による意味理解という2つの相補的なタスクを通じて評価した。これらの関数は、低、中、高複雑さのバンドにグループ化される。 DeepSeek-Coder-V2は、Llamaの70.33%に比べて、全体の自動精度が78.33%に達する。しかし、精度は、DeepSeek-Coder-V2では93.52%から52.78%、Llamaでは87.04%から47.22%へと大幅に低下する。不正確な予測は、4つの複雑性メトリクスの上位値と一貫して関連付けられ、相関とロジスティック回帰分析は、構造的複雑性と正しさの間の大きな負の相関を広く確認する。手作業による意味理解は同じ劣化パターンを示し、精度はDeepSeek-Coder-V2では100.00%から75.00%に低下し、Llamaでは90.00%から60.00%に低下した。これらの結果から,LLM符号理解信頼性の診断精度は,集約精度のみよりも高いことが示唆された。

関連論文リスト

Robustness of LLM-Generated SystemVerilog Assertions to Semantics-Preserving RTL Transformations [0.0]
大規模言語モデル(LLM)は、SystemVerilog Assertion(SVA)の自動生成のために、ますます研究されている。ほとんどの評価では、入力の単一の構文表現に正確さを報告している。そのような点の精度は、モデルの正しい出力が同じRTLの振る舞いが異なる場合に安定であるかどうかを明らかにしない。
論文参考訳（メタデータ） (2026-09-04T18:41:58Z)
Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文参考訳（メタデータ） (2026-07-08T05:48:57Z)
Adaptive ToR: Complexity-Aware Tree-Based Retrieval for Pareto-Optimal Multi-Intent NLU [0.15293427903448018]
多言語自然言語理解には、高い精度と計算効率を同時に達成する検索システムが必要である。本稿では,クエリ特性に基づいた検索トポロジを動的に構成する複雑性を考慮した検索アーキテクチャであるAdaptive Tree-of-Retrieval (Adaptive ToR)を提案する。
論文参考訳（メタデータ） (2026-04-27T09:24:10Z)
Error Understanding in Program Code With LLM-DL for Multi-label Classification [0.0]
大規模言語モデル(LLM)は、自然言語の理解と生成タスクにおいて顕著な能力を示している。本研究では,微調整 LLM を利用したソースコードの多ラベル誤り分類フレームワークを提案する。この作業は、自動化されたコードフィードバックのためのインテリジェントでスケーラブルなツール開発の基礎を築いた。
論文参考訳（メタデータ） (2026-03-26T04:05:42Z)
Examining LLMs Ability to Summarize Code Through Mutation-Analysis [9.187740569361804]
本稿では,要約がコードのロジックと真に一致するかどうかを直接検査する突然変異に基づく評価手法を提案する。 62プログラム中624件の変異生検評価を合計3つの実験で検証した。変異の種類や位置は、より弱い効果を示す一方、要約精度は複雑さとともに急激に低下する。
論文参考訳（メタデータ） (2026-02-19T21:00:49Z)
ReLoop: Structured Modeling and Behavioral Verification for Reliable LLM-Based Optimization [6.572539312871392]
大規模言語モデル(LLM)は、自然言語を最適化コードに変換することができるが、サイレント障害は重大なリスクをもたらす。 2つの相補的な方向からサイレント障害に対処するReLoopを紹介します。
論文参考訳（メタデータ） (2026-02-17T20:20:33Z)
Cross-modal Retrieval Models for Stripped Binary Analysis [62.89251403093734]
BinSeekは、取り除かれたバイナリコード分析のための最初の2段階のクロスモーダル検索フレームワークである。 BinSeekEmbeddingは、バイナリコードのセマンティックな関連性を学ぶために、大規模なデータセットでトレーニングされている。 BinSeek-Rerankerは、コンテキスト拡張による記述に対する候補コードの関連性を慎重に判断することを学ぶ。
論文参考訳（メタデータ） (2025-12-11T07:58:10Z)
EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
論文参考訳（メタデータ） (2025-02-18T02:54:25Z)
LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文参考訳（メタデータ） (2024-12-29T06:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。