論文の概要: Strengthening Programming Comprehension in Large Language Models through Code Generation
- arxiv url: http://arxiv.org/abs/2508.12620v1
- Date: Mon, 18 Aug 2025 04:33:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:10.971126
- Title: Strengthening Programming Comprehension in Large Language Models through Code Generation
- Title（参考訳）: コード生成による大規模言語モデルにおけるプログラミング理解の強化
- Authors: Xiaoning Ren, Qiang Hu, Wei Ma, Yan Li, Yao Zhang, Lingxiao Jiang, Yinxing Xue,
- Abstract要約: 大規模言語モデル(LLM)は、最近、様々なコード関連タスクにおいて印象的な結果を示している。
データフローや制御フローといった基本的なプログラミング概念の理解は依然として浅いままであり、コードが深い推論を必要とする場合、脆弱なパフォーマンスをもたらす。
本研究は,LLMをより深い概念的理解に向けて導くために設計された,概念意識のチューニングと組み合わせた,反実的コード拡張フレームワークを導入する。
- 参考スコア（独自算出の注目度）: 23.72685095718304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have recently shown impressive results on diverse code-related tasks, benefiting from large-scale training and instruction tuning. However, studies reveal that their grasp of fundamental programming concepts, such as data flow and control flow, remains shallow, leading to fragile performance when code requires deeper reasoning. This limitation restricts the practical adoption of LLMs in real-world software development. To address this issue, this work introduces a counterfactual code augmentation framework combined with concept-aware tuning, designed to guide LLMs toward stronger conceptual understanding. Comprehensive evaluation across multiple models and benchmarks demonstrates the effectiveness of the proposed approach.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なコード関連タスクにおいて、大規模なトレーニングとインストラクションチューニングの恩恵を受けながら、印象的な結果を示している。
しかし、データフローや制御フローといった基本的なプログラミング概念の理解は依然として浅いままであり、コードが深い推論を必要とする場合、脆弱なパフォーマンスをもたらす。
この制限は、現実世界のソフトウェア開発におけるLLMの実践的採用を制限する。
この問題に対処するために,本研究では,LLMをより強力な概念的理解へと導くために設計された,概念意識のチューニングと組み合わせた,対実的なコード拡張フレームワークを導入する。
複数のモデルとベンチマークの総合的な評価は,提案手法の有効性を示す。
関連論文リスト
- Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳（メタデータ） (2025-07-21T10:52:14Z) - Pragmatic Reasoning improves LLM Code Generation [35.78260347663757]
我々は,Rational Speech Act (RSA) フレームワーク上に構築された新しいコード候補付け機構であるCodeRSAを提案する。
我々は、人気のあるコード生成データセット上で、最新のLarge Language Modelの1つを用いてCodeRSAを評価する。
論文 参考訳（メタデータ） (2025-02-20T12:44:26Z) - Guided Code Generation with LLMs: A Multi-Agent Framework for Complex Code Tasks [1.9198713957364215]
大規模言語モデル(LLM)は、コード生成タスクにおいて顕著な機能を示している。
複雑な、長いコンテキストプログラミングの課題に対処する上で、それらは重大な制限に直面します。
「案内コード生成のための新しいエージェント・フレームワーク」について紹介する。
論文 参考訳（メタデータ） (2025-01-11T19:21:53Z) - VisualCoder: Guiding Large Language Models in Code Execution with Fine-grained Multimodal Chain-of-Thought Reasoning [10.70881967278009]
ビジュアル制御フローグラフ (CFG) を用いたマルチモーダルチェイン・オブ・ワットスニペット (CoT) 推論を統合することで,コード推論を強化する,シンプルかつ効果的なアプローチである VisualCoder を導入する。
我々は,参照機構によるマルチモーダルCoT統合の課題に対処し,コードと実行経路の整合性を確保し,プログラム動作予測,エラー検出,出力生成の性能を向上させる。
論文 参考訳（メタデータ） (2024-10-30T19:07:01Z) - A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。
本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。
その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文 参考訳（メタデータ） (2024-02-10T11:14:53Z) - Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding [46.485363806259265]
投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。
復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。
本稿では,この有望な復号化パラダイムの概観と解析について述べる。
論文 参考訳（メタデータ） (2024-01-15T17:26:50Z) - A Principled Framework for Knowledge-enhanced Large Language Model [58.1536118111993]
大規模言語モデル(LLM)は汎用性があるが、深い信頼性のある推論を必要とするタスクに悩まされることが多い。
本稿では、知識を効果的に固定し、閉ループ推論プロセスを用いるLLMを作成するための厳密な設計のフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-18T18:10:02Z) - Benchmarking and Explaining Large Language Model-based Code Generation:
A Causality-Centric Approach [12.214585409361126]
大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。
本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。
我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
論文 参考訳（メタデータ） (2023-10-10T14:56:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。