論文の概要: CodeGlance: Understanding Code Reasoning Challenges in LLMs through Multi-Dimensional Feature Analysis

• arxiv url: http://arxiv.org/abs/2602.13962v1
• Date: Sun, 15 Feb 2026 02:46:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.581954
• Title: CodeGlance: Understanding Code Reasoning Challenges in LLMs through Multi-Dimensional Feature Analysis
• Title（参考訳）: CodeGlance:多次元特徴解析によるLLMにおけるコード推論の課題理解
• Authors: Yunkun Wang, Xuanhe Zhang, Junxiao Han, Chen Zhi, Shuiguang Deng,
• Abstract要約: CodeGlanceは、3つの現実的なシナリオにわたるコード推論の課題を調査するベンチマークです。 未確認関数推論は,特に小型モデルでは重要な課題となる。 シナリオ間でコード推論の難しさに大きな影響を及ぼす重要なコード複雑性の特徴を特定します。
• 参考スコア（独自算出の注目度）: 14.328535883908176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In modern software development, developers frequently need to understand code behavior at a glance -- whether reviewing pull requests, debugging issues, or navigating unfamiliar codebases. This ability to reason about dynamic program behavior is fundamental to effective software engineering and increasingly supported by Large Language Models (LLMs). However, existing studies on code reasoning focus primarily on isolated code snippets, overlooking the complexity of real-world scenarios involving external API interactions and unfamiliar functions. This gap hinders our understanding of what truly makes code reasoning challenging for LLMs across diverse programming contexts. We present CodeGlance, a multi-dimensional benchmark investigating code reasoning challenges across three realistic scenarios: intrinsic logic reasoning, API interaction reasoning, and unseen function reasoning. Through systematic evaluation of 7 state-of-the-art LLMs, we reveal that unseen function reasoning poses significant challenges especially for smaller models, with Qwen2.5-3b achieving only 6.0\% accuracy on unseen functions compared to 37.5\% on familiar APIs. We identify critical code complexity features -- including execution trace length, API invocation count, and control flow complexity -- that significantly impact code reasoning difficulty across scenarios. We further investigate how common augmentation strategies, including CoT, document retrieval, and code search, can improve reasoning performance, finding that their effectiveness varies substantially depending on whether challenges stem from logical complexity or knowledge gaps. These findings provide actionable guidance for developing more capable code reasoning systems and deploying LLM-based programming assistants in real-world software development.
• Abstract（参考訳）: 現代的なソフトウェア開発では、プルリクエストのレビューやデバッグの問題、馴染みの無いコードベースのナビゲートなど、開発者が一目でコード動作を理解する必要があります。 この動的プログラムの振る舞いを推論する能力は、効果的なソフトウェア工学の基本であり、Large Language Models (LLMs) によってますます支持されている。 しかし、コード推論に関する既存の研究は、主に独立したコードスニペットに焦点を当てており、外部APIのインタラクションや不慣れな関数を含む現実世界のシナリオの複雑さを見下ろしている。 このギャップは、様々なプログラミングコンテキストにまたがるLCMにとって真のコード推論の難しさに対する私たちの理解を妨げます。 CodeGlanceは,本質的な論理推論,APIインタラクション推論,見当たらない関数推論という,3つの現実シナリオにわたるコード推論の課題を調査する多次元ベンチマークである。 最新の7つのLCMを体系的に評価した結果,特に小型モデルでは未確認関数の推論が重要な課題となり,Qwen2.5-3bは既知のAPIでは37.5\%に比べて6.0\%の精度しか達成できないことがわかった。 実行トレースの長さ、API呼び出し数、制御フローの複雑さなど、重要なコードの複雑さの特徴を特定します。 さらに,CoT,文書検索,コード検索などの一般的な拡張戦略が,論理的複雑性や知識のギャップに起因するかによって,その効果が著しく変化することを示す。 これらの知見は、より有能なコード推論システムを開発し、LLMベースのプログラミングアシスタントを現実世界のソフトウェア開発に展開するための実用的なガイダンスを提供する。

関連論文リスト

• From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence [150.3696990310269]
  大規模言語モデル(LLM)は、自然言語記述を直接関数コードに変換することによって、自動ソフトウェア開発を変革した。 コードLLMに関する総合的な合成と実践的ガイド(一連の解析および探索実験)を提供する。 一般LLM(GPT-4, Claude, LLaMA)とコード特殊化LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)のコード機能の解析を行う。
  論文  参考訳（メタデータ） (2025-11-23T17:09:34Z)
• CoRe: Benchmarking LLMs Code Reasoning Capabilities through Static Analysis Tasks [14.408364047538578]
  大規模言語モデル(LLM)は、ソフトウェア工学の様々な領域で広く採用されている。 この研究は、基本的な静的解析タスク上でのLCMを評価するために設計されたベンチマークであるCOREを提示する。
  論文  参考訳（メタデータ） (2025-07-03T01:35:58Z)
• Is Compression Really Linear with Code Intelligence? [60.123628177110206]
  textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
  論文  参考訳（メタデータ） (2025-05-16T16:59:14Z)
• An Empirical Study on the Effectiveness of Large Language Models for Binary Code Understanding [50.17907898478795]
  本研究では,現実のリバースエンジニアリングシナリオにおけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。 評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-30T17:02:06Z)
• The Code Barrier: What LLMs Actually Understand? [7.407441962359689]
  本研究では,言語モデルの意味理解能力を評価するために,コード難読化を構造化テストフレームワークとして利用する。 難読化の複雑さが増加するにつれて、統計的に顕著な性能低下が見られる。 本研究では,言語モデルにおけるコード理解を評価するための新しい評価手法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T14:11:26Z)
• Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs [53.00384299879513]
  大規模言語モデル(LLM)では、コードと推論が互いに強化される。 コードは検証可能な実行パスを提供し、論理的な分解を強制し、実行時の検証を可能にする。 我々は,このシナジーを強化するために,重要な課題を特定し,今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2025-02-26T18:55:42Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
  本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。 間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。 本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• PECC: Problem Extraction and Coding Challenges [3.287942619833188]
  PECCは、Advent Of Code(AoC)の課題とProject Eulerから派生した、新しいベンチマークである。 従来のベンチマークとは異なり、PECCは物語に埋め込まれた問題を解釈し、要求を抽出し、コードを生成するためにLCMを必要とする。 結果は、ユーラー数に基づく部分集合において、物語的問題と中立的問題の間に様々なモデル性能を示す。
  論文  参考訳（メタデータ） (2024-04-29T15:02:14Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。