論文の概要: Not All Tokens Matter: Data-Centric Optimization for Efficient Code Summarization
- arxiv url: http://arxiv.org/abs/2601.20147v1
- Date: Wed, 28 Jan 2026 00:45:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-29 15:46:06.708435
- Title: Not All Tokens Matter: Data-Centric Optimization for Efficient Code Summarization
- Title（参考訳）: すべてのトークンが重要でない:効率的なコード要約のためのデータ中心最適化
- Authors: Saima Afrin, Zaiyu Cheng, Tushar Sharma, Alexander Serebrenik, Massimiliano Di Penta, Antonio Mastropaolo,
- Abstract要約: コード生成タスクにおいて,システムプロンプトがILMやCLMにどのように影響するかを評価する。
120のモデル構成にまたがる評価フレームワークにより,システムの影響がモデルスケールで増大することが明らかとなった。
JavaはPythonよりもシステムプロンプトのバリエーションに対する感度が高い。
- 参考スコア（独自算出の注目度）: 46.365359894614706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction-tuned Language Models ILMs have become essential components of modern AI systems, demonstrating exceptional versatility across a wide range of natural language and reasoning tasks. Among their most impactful applications is code generation, where ILMs--commonly referred to as Code Language Models CLMs--have demonstrated remarkable capability. This strength stems from their defining feature: the use of explicit task instructions during fine-tuning, which enables them to bridge natural language and code by translating human intent into executable code. While much of their progress has been driven by advances in scaling laws and training methodologies, one critical aspect remains underexplored--the impact of system prompts on the performance of both general-purpose ILMs and specialized CLMs when instantiated to assist users with code generation activities. In this study, we take a first step toward bridging this gap by systematically evaluating how system prompts of varying instructional detail, along with model scale, prompting strategy, and programming language, affect ILMs and CLMs in code generation tasks. Our evaluation framework, spanning 120 model configurations, reveals that (1) the influence of system prompts increases with model scale; (2) few-shot prompting reduces this effect compared to zero-shot; and (3) programming language matters, with Java showing greater sensitivity to system prompt variations than Python.
- Abstract（参考訳）: 命令調整言語モデル ILMは現代のAIシステムにおいて不可欠なコンポーネントとなり、幅広い自然言語や推論タスクにまたがる例外的な万能性を実証している。
最も影響力のあるアプリケーションとしては、ICM(Code Language Models CLM)と呼ばれるコード生成がある。
これにより、人間の意図を実行可能なコードに変換することで、自然言語とコードをブリッジすることができる。
彼らの進歩の多くは、法とトレーニング方法論のスケーリングの進歩によって推進されているが、重要な側面として、システムプロンプトが、コード生成活動を支援するためにインスタンス化された時に、汎用ILMと特殊CRMの両方のパフォーマンスに与える影響について検討されている。
本研究では,このギャップを埋める第一歩として,モデルスケール,プロンプト戦略,プログラミング言語がコード生成タスクにおいてILMやCLMにどのように影響するかを体系的に評価する。
120のモデル構成にまたがる評価フレームワークでは,(1) システムの影響がモデルスケールで増大する,(2) 少数ショットプロンプトがゼロショットに比べてこの効果を減少させる,(3) プログラム言語が問題となる,という結果が得られた。
関連論文リスト
- Code Fingerprints: Disentangled Attribution of LLM-Generated Code [7.515488307576106]
生成したコードに責任を負うソースLLMを決定することを目的とした,モデルレベルのコード属性の問題について検討する。
本稿では、ソース非依存のセマンティック情報とソース-特異なスタイル表現を分離するDisentangled Code Attribution Network (DCAN)を提案する。
4つのプログラミング言語で広く使われている4つの大規模言語モデル(LLM)が生成するコードからなる,最初の大規模ベンチマークデータセットを構築した。
論文 参考訳（メタデータ） (2026-03-04T15:58:36Z) - An Empirical Study on the Effects of System Prompts in Instruction-Tuned Models for Code Generation [4.76360912129794]
システムプロンプトがコードアシスタントに与える影響を系統的に評価する。
システムプロンプト制約の特異性の増加は単調に正しさを向上しないことがわかった。
より大規模なコード特化モデルでは、ゼロショット生成に対するパフォーマンスの低下がほとんどない。
論文 参考訳（メタデータ） (2026-02-16T22:11:21Z) - On Code-Induced Reasoning in LLMs [21.875805779552564]
並列命令データセットを10のプログラミング言語で構築する。
コードの構造的・意味的特性を選択的に破壊する制御摂動を適用する。
以上の結果から,LLMは意味論的よりも構造的摂動に弱いことが示唆された。
論文 参考訳（メタデータ） (2025-09-25T19:57:36Z) - Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。
結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
論文 参考訳（メタデータ） (2024-11-06T10:28:46Z) - Large Language Models are Interpretable Learners [53.56735770834617]
本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。
自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。
LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
論文 参考訳（メタデータ） (2024-06-25T02:18:15Z) - CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
CodeGRAGは、制御フローとそれらのデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミングドメインの知識をよりよく解釈する。
CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
論文 参考訳（メタデータ） (2024-05-03T02:48:55Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - Testing LLMs on Code Generation with Varying Levels of Prompt
Specificity [0.0]
大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。
自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
論文 参考訳（メタデータ） (2023-11-10T23:41:41Z) - From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。
次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。
この結果から,指導指導の3つの重要な影響が明らかになった。
論文 参考訳（メタデータ） (2023-09-30T21:16:05Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳（メタデータ） (2023-09-29T17:57:00Z) - Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。
このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。
新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
論文 参考訳（メタデータ） (2022-02-03T18:55:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。