論文の概要: Rethinking Code Complexity Through the Lens of Large Language Models
- arxiv url: http://arxiv.org/abs/2602.07882v1
- Date: Sun, 08 Feb 2026 09:20:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:24.846123
- Title: Rethinking Code Complexity Through the Lens of Large Language Models
- Title(参考訳): 大規模言語モデルのレンズによるコードの複雑さの再考
- Authors: Chen Xie, Yuling Shi, Xiaodong Gu, Beijun Shen,
- Abstract要約: 大規模言語モデル(LLM)の観点から設計した新しい符号複雑性計量であるLM-CCを提案する。
実験の結果,LM-CCは従来の指標よりもLLM性能と強く相関するだけでなく,タスク性能の低下も直接的に向上することがわかった。
- 参考スコア(独自算出の注目度): 11.460454386439698
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Code complexity metrics such as cyclomatic complexity have long been used to assess software quality and maintainability. With the rapid advancement of large language models (LLMs) on code understanding and generation tasks, an important yet underexplored question arises: do these traditional complexity metrics meaningfully characterize the difficulty LLMs experience when processing code? In this work, we empirically demonstrate that, after controlling for code length, classical metrics exhibit no consistent correlation with LLM performance, revealing a fundamental mismatch with model-perceived difficulty. To address this gap, we propose LM-CC, a novel code complexity metric designed from the perspective of LLMs. The core premise of LM-CC is that LLM-perceived difficulty is driven by the nonlinearity of program semantics. Accordingly, we decompose programs into semantic units based on entropy, organize these units into a compositional hierarchy, and quantify complexity as a principled aggregation of compositional level and branching-induced divergence, capturing cumulative model uncertainty during code processing. Our extensive experiments show that LM-CC not only correlates more strongly with LLM performance than traditional metrics but also that lowering it directly enhances task performance.
- Abstract(参考訳): サイクロマティックな複雑さのようなコードの複雑さのメトリクスは、ソフトウェアの品質と保守性を評価するのに長い間使われてきました。
コード理解と生成タスクにおける大規模言語モデル(LLM)の急速な進歩により、重要で未解決の疑問が浮かび上がっている。
本研究では、コード長を制御した後、古典的メトリクスがLLMのパフォーマンスと一貫した相関を示さず、モデル知覚の難しさと根本的なミスマッチがあることを実証的に示す。
このギャップに対処するために,LLM の観点から設計された新しい符号複雑性指標 LM-CC を提案する。
LM-CCの中核となる前提は、LLMが知覚する困難は、プログラム意味論の非線形性によって引き起こされるということである。
そこで我々は,プログラムをエントロピーに基づいて意味単位に分解し,これらの単位を構成階層に整理し,合成レベルと分岐誘起分散の原理的集約として複雑性を定量化し,コード処理中に累積モデルの不確実性を捉える。
我々の広範な実験により、LM-CCは従来のメトリクスよりもLLMのパフォーマンスと強く相関するだけでなく、タスク性能を直接的に低下させることも示している。
関連論文リスト
- Uncovering Systematic Failures of LLMs in Verifying Code Against Natural Language Specifications [0.6813925418351435]
大規模言語モデル(LLM)はソフトウェア開発において不可欠なツールとなり、要求工学、コード生成、レビュータスクに広く利用されている。
本稿では,LLMが自然言語の要求に適合するかどうかを評価する上で,体系的に失敗していることを明らかにする。
以上の結果から,LCMは要件を満たすことのできないコード実装や潜在的な欠陥を含むコード実装を誤って分類することが多いことが判明した。
論文 参考訳(メタデータ) (2025-08-17T13:07:26Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳(メタデータ) (2025-07-21T10:52:14Z) - Computational Thinking Reasoning in Large Language Models [69.28428524878885]
計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。
ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。
CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
論文 参考訳(メタデータ) (2025-06-03T09:11:15Z) - Post-Incorporating Code Structural Knowledge into Pretrained Models via ICL for Code Translation [15.73070332657629]
大規模言語モデル(LLM)はソフトウェアマイニングにおいて大きな進歩を遂げた。
ソースコードの構文構造を扱うことは 依然として課題です
本稿では、コード構造知識を事前学習したLLMに組み込むために、インコンテキスト学習(ICL)を用いる。
論文 参考訳(メタデータ) (2025-03-28T10:59:42Z) - Uncertainty-Guided Chain-of-Thought for Code Generation with LLMs [45.33160999781074]
大規模言語モデル(LLM)の問題解決能力向上に有効な手法として,チェーン・オブ・ソート(CoT)推論が実証されている。
我々は、不確実性を認識したCoT推論機構を組み込むことで、コード生成を向上させるためのUnCert-CoTを導入する。
論文 参考訳(メタデータ) (2025-03-19T15:40:45Z) - CoMMIT: Coordinated Multimodal Instruction Tuning [90.1532838391285]
マルチモーダル大言語モデル(MLLM)は一般に、バックボーンLLMと非テキスト入力モードの特徴エンコーダ間の協調学習を含む。
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。
本稿では,学習のバランスを定量的に測定できるマルチモーダルバランス係数を提案する。
論文 参考訳(メタデータ) (2024-07-29T23:18:55Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。
間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。
本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文 参考訳(メタデータ) (2024-07-08T17:27:17Z) - MTP: A Meaning-Typed Language Abstraction for AI-Integrated Programming [8.768061489034642]
本稿では,直感的な言語レベルでの統合を自動化する新しいパラダイムであるMeaning-Typed Programming(MTP)を提案する。
我々はPythonに取って代わるプログラミング言語であるJacにMPPを実装し、MPPは精度と効率を保ちながら、コーディングの複雑さを著しく低減することがわかった。
私たちのユーザ調査では、既存のフレームワークと比較して、タスクの完了率が3.2倍速く、コード行数が45%少ないことが示されています。
論文 参考訳(メタデータ) (2024-05-14T21:12:01Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳(メタデータ) (2023-08-29T17:22:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。