論文の概要: CrossPL: Evaluating Large Language Models on Cross Programming Language Code Generation

• arxiv url: http://arxiv.org/abs/2507.19904v1
• Date: Sat, 26 Jul 2025 10:28:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:56.381814
• Title: CrossPL: Evaluating Large Language Models on Cross Programming Language Code Generation
• Title（参考訳）: CrossPL: クロスプログラミング言語コード生成における大規模言語モデルの評価
• Authors: Zhanhang Xiong, Dongxia Wang, Yuekang Li, Xinyuan An, Wenhai Wang,
• Abstract要約: 大規模言語モデル(LLM)のクロスプログラミング言語(CPL)コードを生成する能力を評価するために設計された最初のベンチマークであるCrossPLを提案する。 CrossPLは、IPCを中心とした1,982のタスクで構成され、6つの広く使われているプログラミング言語と7つの代表的CPL技術を含んでいる。 FSMによる検証により,過去3年間にリリースされた14の最先端汎用LLMと6のコード指向LLMをCrossPL上で評価した。
• 参考スコア（独自算出の注目度）: 24.468767564264738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) become increasingly embedded in software engineering workflows, a critical capability remains underexplored: generating correct code that enables cross-programming-language (CPL) interoperability. This skill is essential for building complex systems that integrate components written in multiple languages via mechanisms like inter-process communication (IPC). To bridge this gap, we present CrossPL, the first benchmark designed to systematically evaluate LLMs' ability to generate CPL-interoperating code. CrossPL comprises 1,982 tasks centered around IPC, covering six widely-used programming languages and seven representative CPL techniques. We construct this benchmark by (i) analyzing 19,169 multi-language GitHub repositories using 156 hand-crafted finite state machines (FSMs), and (ii) developing an LLM-based pipeline that automatically extracts CPL code snippets, generates task instructions, and validates functional correctness. We evaluate 14 state-of-the-art general-purpose LLMs and 6 code-oriented LLMs released in the past three years on CrossPL via FSM-based validation. Results reveal that even the best-performing models struggle with CPL scenarios, underscoring the need for more targeted research in this space. Our benchmark and code are available at: https://anonymous.4open.science/r/crosspl-2814.
• Abstract（参考訳）: 大規模言語モデル(LLM)がソフトウェアエンジニアリングのワークフローにますます組み込まれていくにつれ、重要な機能がまだ探索されていない。 このスキルは、プロセス間通信(IPC)のようなメカニズムを通じて、複数の言語で書かれたコンポーネントを統合する複雑なシステムを構築するのに不可欠である。 このギャップを埋めるために、私たちはCPL相互運用コードを生成するLLMの能力を体系的に評価する最初のベンチマークであるCrossPLを提示する。 CrossPLは、IPCを中心とした1,982のタスクで構成され、6つの広く使われているプログラミング言語と7つの代表的CPL技術を含んでいる。 私たちはこのベンチマークを構築します (i)手作り有限状態マシン(FSM)156を用いて、19,169の多言語GitHubリポジトリを分析し、 2) CPLコードスニペットを自動的に抽出し,タスク命令を生成し,機能的正当性を検証するLLMベースのパイプラインの開発。 FSMによる検証により,過去3年間にリリースされた14の最先端汎用LLMと6のコード指向LLMをCrossPL上で評価した。 その結果、最高のパフォーマンスのモデルでさえ、CPLのシナリオに苦しむことが明らかとなり、この分野でよりターゲットを絞った研究の必要性が強調された。 ベンチマークとコードは、https://anonymous.4open.science/r/crosspl-2814.comで公開されています。

関連論文リスト

• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• LLM Benchmarking with LLaMA2: Evaluating Code Development Performance Across Multiple Programming Languages [0.1906498126334485]
  本稿では,Llama 2-70Bモデルがプログラミング言語で書かれた科学アプリケーションを自動化する能力について述べる。 コード、ドキュメンテーション、ユニットテストを生成するためのモデルの能力と、既存のコードをプログラミング言語間で翻訳する能力を評価します。 以上の結果から,Llama 2-70Bは,より単純な数値処理のために,構文的に正しい関数コードを生成することが多いが,より複雑で並列化された,あるいは分散計算ではかなりの困難に直面することが示唆された。
  論文  参考訳（メタデータ） (2025-03-24T23:46:14Z)
• Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [14.458529723566379]
  LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。 本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
  論文  参考訳（メタデータ） (2025-02-19T17:53:59Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• InterTrans: Leveraging Transitive Intermediate Translations to Enhance LLM-based Code Translation [9.655135415596414]
  コード翻訳は、あるプログラムをあるプログラミング言語(PL)から別のプログラミング言語に変換することを目的としている。 近年の研究では、大規模言語モデル(LLM)のような高度な技術でさえもタスクに苦戦していることが示されている。 LLMベースの自動コード翻訳手法であるInterTransを導入する。
  論文  参考訳（メタデータ） (2024-11-01T22:31:32Z)
• Large Language Models as Code Executors: An Exploratory Study [29.545321608864295]
  本稿では,Large Language Models (LLM) をコードエグゼキュータとして探索する。 OpenAIのo1、GPT-4o、GPT-3.5、DeepSeek、Qwen-Coderなど、さまざまなLLMでこの実現可能性を調べています。 我々は,コードスニペットを行単位で処理し,弱いモデルの精度を平均7.22%向上させるIIP(Iterative Instruction Prompting)技術を導入する。
  論文  参考訳（メタデータ） (2024-10-09T08:23:22Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• The Struggles of LLMs in Cross-lingual Code Clone Detection [3.5202378300682162]
  言語間のコードクローン検出は、ソフトウェアエンジニアリングコミュニティ内で注目を集めている。 機械学習の大幅な進歩にインスパイアされた本論文では、言語間コードクローン検出を再考する。 言語間コードクローンの識別のための5つの大言語モデル (LLM) と8つのプロンプト (08) の性能評価を行った。
  論文  参考訳（メタデータ） (2024-08-08T12:57:14Z)
• Exploring the Impact of the Output Format on the Evaluation of Large Language Models for Code Translation [8.81447711370817]
  我々は、11の人気のある命令付き大規模言語モデル(LLM)の出力を経験的に分析する。 この結果から,プロンプトエンジニアリングと正規表現の戦略的組み合わせにより,モデル生成出力からソースコードを効果的に抽出できることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T21:41:31Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。