論文の概要: Protocode: Prototype-Driven Interpretability for Code Generation in LLMs

• arxiv url: http://arxiv.org/abs/2509.25247v1
• Date: Sat, 27 Sep 2025 00:32:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.199526
• Title: Protocode: Prototype-Driven Interpretability for Code Generation in LLMs
• Title（参考訳）: Protocode: LLMにおけるコード生成のためのプロトタイプ駆動型解釈可能性
• Authors: Krishna Vamshi Bodla, Haizhao Yang,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト要約、質問応答、音声からテキストへの翻訳など、様々なタスクに広く採用されている。 我々の研究は、モデルの性能を改善し、生成されたコードの解釈可能性を高めることができるインコンテキスト学習(ICL)のデモを自動的にサンプリングすることに焦点を当てている。
• 参考スコア（独自算出の注目度）: 5.8296917468117835
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Since the introduction of Large Language Models (LLMs), they have been widely adopted for various tasks such as text summarization, question answering, speech-to-text translation, and more. In recent times, the use of LLMs for code generation has gained significant attention, with tools such as Cursor and Windsurf demonstrating the ability to analyze massive code repositories and recommend relevant changes. Big tech companies have also acknowledged the growing reliance on LLMs for code generation within their codebases. Although these advances significantly improve developer productivity, increasing reliance on automated code generation can proportionally increase the risk of suboptimal solutions and insecure code. Our work focuses on automatically sampling In-Context Learning (ICL) demonstrations which can improve model performance and enhance the interpretability of the generated code. Using AST-based analysis on outputs from the MBPP test set, we identify regions of code most influenced by the chosen demonstrations. In our experiments, we show that high-quality ICL demonstrations not only make outputs easier to interpret but also yield a positive performance improvement on the pass@10 metric. Conversely, poorly chosen ICL demonstrations affected the LLM performance on the pass@10 metric negatively compared to the base model. Overall, our approach highlights the importance of efficient sampling strategies for ICL, which can affect the performance of the model on any given task.
• Abstract（参考訳）: LLM(Large Language Models)の導入以降,テキスト要約や質問応答,音声からテキストへの翻訳など,さまざまなタスクに広く採用されている。 近年、コード生成にLLMを使うことに大きな注目を集め、CursorやWindsurfといったツールが大量のコードリポジトリを分析し、関連する変更を推奨する機能を示している。 大企業は、コードベース内のコード生成に対するLLMへの依存度の増加も認めている。 これらの進歩は開発者の生産性を大幅に向上させるが、自動化されたコード生成への依存度の増加は、最適化されたソリューションと安全性の低いコードのリスクを比例的に増加させる可能性がある。 我々の研究は、モデルの性能を改善し、生成されたコードの解釈可能性を高めることができるインコンテキスト学習(ICL)のデモを自動的にサンプリングすることに焦点を当てている。 MBPPテストセットからの出力をASTベースで解析し、選択したデモに最も影響されたコードの領域を同定する。 実験では,高品質なICLの実証実験により,出力の解釈が容易になるだけでなく,pass@10測定値に対する肯定的な性能向上が得られた。 逆に、選択の不十分なICLのデモは、ベースモデルと比較して、pass@10メトリックのLLMのパフォーマンスに悪影響を及ぼした。 全体として、本手法は、任意のタスクにおけるモデルの性能に影響を及ぼすことができるICLの効率的なサンプリング戦略の重要性を強調している。

関連論文リスト

• What Builds Effective In-Context Examples for Code Generation? [8.536350550103057]
  In-Context Learning (ICL) は、LLM(Large Language Models)のコード生成能力を向上するための有望なソリューションとして登場した。 本稿では,制御アブレーション研究を通じて,様々なコード特徴がICLに与える影響をコード例で系統的に検討する。
  論文  参考訳（メタデータ） (2025-08-08T15:58:11Z)
• Evaluating Large Language Models on Non-Code Software Engineering Tasks [4.381476817430934]
  大規模言語モデル(LLM)は、コード理解と生成において顕著な能力を示している。 ソフトウェア工学言語理解(SELU)と呼ばれる最初の包括的なベンチマークを提示する。 SELUは、分類、回帰、名前付きエンティティ認識(NER)とマスケッド言語モデリング(MLM)のターゲットをカバーし、さまざまなソースからデータを引き出す。
  論文  参考訳（メタデータ） (2025-06-12T15:52:32Z)
• Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding [71.01099784480597]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、様々なタスクで優れる In-Context Contrastive Decoding (ICCD)を導入する。
  論文  参考訳（メタデータ） (2025-02-19T14:04:46Z)
• A Performance Study of LLM-Generated Code on Leetcode [1.747820331822631]
  本研究では,Large Language Models (LLM) によるコード生成の効率性を評価する。 モデル温度や成功率などの要因とコード性能への影響を考慮し、18個のLLMを比較した。 LLMは、人間によって書かれたコードよりも平均的に、より効率的なコードを生成することができる。
  論文  参考訳（メタデータ） (2024-07-31T13:10:03Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。