論文の概要: Post-Incorporating Code Structural Knowledge into LLMs via In-Context Learning for Code Translation

• arxiv url: http://arxiv.org/abs/2503.22776v1
• Date: Fri, 28 Mar 2025 10:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:39:34.149969
• Title: Post-Incorporating Code Structural Knowledge into LLMs via In-Context Learning for Code Translation
• Title（参考訳）: コード翻訳のためのインコンテキスト学習によるLLMへのコード構造知識の組み入れ
• Authors: Yali Du, Hui Sun, Ming Li,
• Abstract要約: 大規模言語モデル(LLM)はソフトウェアマイニングにおいて大きな進歩を遂げた。 ソースコードの構文構造を扱うことは 依然として課題です 本稿では、コード構造知識を事前学習したLLMに組み込むために、インコンテキスト学習(ICL)を用いる。
• 参考スコア（独自算出の注目度）: 10.77747590700758
• License:
• Abstract: Code translation migrates codebases across programming languages. Recently, large language models (LLMs) have achieved significant advancements in software mining. However, handling the syntactic structure of source code remains a challenge. Classic syntax-aware methods depend on intricate model architectures and loss functions, rendering their integration into LLM training resource-intensive. This paper employs in-context learning (ICL), which directly integrates task exemplars into the input context, to post-incorporate code structural knowledge into pre-trained LLMs. We revisit exemplar selection in ICL from an information-theoretic perspective, proposing that list-wise selection based on information coverage is more precise and general objective than traditional methods based on combining similarity and diversity. To address the challenges of quantifying information coverage, we introduce a surrogate measure, Coverage of Abstract Syntax Tree (CAST). Furthermore, we formulate the NP-hard CAST maximization for exemplar selection and prove that it is a standard submodular maximization problem. Therefore, we propose a greedy algorithm for CAST submodular maximization, which theoretically guarantees a (1-1/e)-approximate solution in polynomial time complexity. Our method is the first training-free and model-agnostic approach to post-incorporate code structural knowledge into existing LLMs at test time. Experimental results show that our method significantly improves LLMs performance and reveals two meaningful insights: 1) Code structural knowledge can be effectively post-incorporated into pre-trained LLMs during inference, despite being overlooked during training; 2) Scaling up model size or training data does not lead to the emergence of code structural knowledge, underscoring the necessity of explicitly considering code syntactic structure.
• Abstract（参考訳）: コード翻訳はコードベースをプログラミング言語に移行する。 近年,大規模言語モデル (LLM) はソフトウェアマイニングにおいて大きな進歩を遂げている。 しかし、ソースコードの構文構造を扱うことは依然として困難である。 古典的な構文認識手法は複雑なモデルアーキテクチャと損失関数に依存し、LLMのトレーニングリソース集約に統合される。 本稿では,インコンテキスト学習(ICL)を用いて,タスクの例を入力コンテキストに直接統合し,コード構造知識を事前学習したLLMに後付けする。 我々は、情報理論の観点からICLにおける模範的選択を再考し、情報カバレッジに基づくリストワイドの選択は、類似性と多様性を組み合わせた従来の方法よりも正確で汎用的なものであることを提唱する。 本稿では,情報カバレッジの定量化の課題に対処するため,抽象構文木(CAST)のサロゲート尺度を導入する。 さらに、NP-hard CAST maximization を定式化し、それが標準部分モジュラー最大化問題であることを証明した。 そこで我々は, 多項式時間における (1-1/e)-近似解を理論的に保証する, CAST 部分モジュラー最大化のためのグリーディアルゴリズムを提案する。 本手法は,テスト時に既存のLCMにコード構造知識を組み込むための,トレーニング不要かつモデルに依存しない最初の手法である。 実験結果から,本手法はLLMの性能を著しく改善し,2つの有意義な知見が得られた。 1) コード構造知識は,訓練中に見落とされながら,推論中に事前訓練されたLLMに効果的に組み込むことができる。 2) モデルのサイズやトレーニングデータのスケールアップは、コード構造的知識の出現につながらず、コード構文的構造を明示的に考慮する必要性を強調します。

関連論文リスト

• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• zsLLMCode: An Effective Approach for Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
  本稿では,大言語モデル(LLM)と文埋め込みモデルを用いて,新たなゼロショット手法であるzsLLMCodeを提案する。 その結果,最先端の教師なしアプローチに対する提案手法の有効性と優位性を実証した。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• KnowCoder: Coding Structured Knowledge into LLMs for Universal Information Extraction [59.039355258637315]
  コード生成によるユニバーサル情報抽出(UIE)を行うためのLarge Language Model(LLM)であるKnowCoderを提案する。 KnowCoderは、異なるスキーマをPythonクラスに一様に変換するコードスタイルのスキーマ表現メソッドを導入した。 KnowCoderには、2フェーズの学習フレームワークがあり、コード事前トレーニングによるスキーマ理解能力と、命令チューニングによるスキーマ追従能力を向上させる。
  論文  参考訳（メタデータ） (2024-03-12T14:56:34Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach [12.214585409361126]
  大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。 本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。 我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
  論文  参考訳（メタデータ） (2023-10-10T14:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。