論文の概要: Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages
- arxiv url: http://arxiv.org/abs/2606.20517v1
- Date: Thu, 18 Jun 2026 17:35:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:40.023933
- Title: Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages
- Title（参考訳）: Multi-LCB: LiveCodeBenchを複数のプログラミング言語に拡張
- Abstract要約: Pythonを含む12言語にわたる大規模言語モデル(LLM)を評価するベンチマークであるMulti-LCBを紹介する。
オリジナルの LCB フォーマットと完全に互換性があるため、Multi-LCB は将来の LCB 更新を自動的に追跡する。
我々は,Pythonの過剰適合,言語固有の汚染,多言語性能の相違の証拠を明らかにするため,マルチLCBの指導と推論のための24個のLLMを評価した。
- 参考スコア（独自算出の注目度）: 0.2796614590345728
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LiveCodeBench (LCB) has recently become a widely adopted benchmark for evaluating large language models (LLMs) on code-generation tasks. By curating competitive programming problems, constantly adding fresh problems to the set, and filtering them by release dates, LCB provides contamination-aware evaluation and offers a holistic view of coding capability. However, LCB remains restricted to Python, leaving open the question of whether LLMs can generalize across the diverse programming languages required in real-world software engineering. We introduce Multi-LCB, a benchmark for evaluating LLMs across twelve programming languages, including Python. Multi-LCB transforms Python tasks from the LCB dataset into equivalent tasks in other languages while preserving LCB's contamination controls and evaluation protocol. Because it is fully compatible with the original LCB format, Multi-LCB will automatically track future LCB updates, enabling systematic assessment of cross-language code generation competence and requiring models to sustain performance well beyond Python. We evaluated 24 LLMs for instruction and reasoning on Multi-LCB, uncovering evidence of Python overfitting, language-specific contamination, and substantial disparities in multilingual performance. Our results establish Multi-LCB as a rigorous new benchmark for multi-programming-language code evaluation, directly addressing LCB's primary limitation and exposing critical gaps in current LLM capabilities.
- Abstract（参考訳）: LiveCodeBench (LCB)は、コード生成タスクで大規模言語モデル(LLM)を評価するために広く採用されているベンチマークである。
競合プログラミングの問題を計算し、常に新しい問題をセットに追加し、リリース日にフィルタリングすることで、LCBは汚染を意識した評価を提供し、コーディング能力の全体像を提供する。
しかし、LCBはPythonに限定されており、LLMが現実世界のソフトウェア工学に必要な様々なプログラミング言語をまたいで一般化できるかどうかという疑問が残る。
Pythonを含む12言語にわたるLLMを評価するベンチマークであるMulti-LCBを紹介する。
Multi-LCBは、LCBの汚染制御と評価プロトコルを維持しながら、PythonのタスクをLCBデータセットから他の言語で同等のタスクに変換する。
オリジナルの LCB フォーマットと完全に互換性があるため、Multi-LCB は将来の LCB 更新を自動的に追跡し、言語間のコード生成能力の体系的な評価を可能にし、モデルが Python を超えるパフォーマンスを維持する必要がある。
マルチLCBにおける指導と推論のための24個のLLMを評価し,Python過剰適合の証拠,言語固有の汚染,多言語性能の相違について検討した。
この結果から,マルチLCBを多言語コード評価のための厳格な新しいベンチマークとして確立し,LCBの一次制限に対処し,現在のLCM能力に重大なギャップを露呈する。
関連論文リスト
- CodeSimpleQA: Scaling Factuality in Code Large Language Models [55.705748501461294]
本稿では,コード関連質問への回答において,LLMの実際の精度を評価するための総合的なベンチマークであるCodeSimpleQAを提案する。
また,66万サンプルの大規模インストラクションコーパスであるCodeSimpleQA-Instructを作成し,教師付き微調整と強化学習を組み合わせたポストトレーニングフレームワークを開発した。
論文 参考訳（メタデータ） (2025-12-22T14:27:17Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - CrossPL: Evaluating Large Language Models on Cross Programming Language Code Generation [24.468767564264738]
大規模言語モデル(LLM)のクロスプログラミング言語(CPL)コードを生成する能力を評価するために設計された最初のベンチマークであるCrossPLを提案する。
CrossPLは、IPCを中心とした1,982のタスクで構成され、6つの広く使われているプログラミング言語と7つの代表的CPL技術を含んでいる。
FSMによる検証により,過去3年間にリリースされた14の最先端汎用LLMと6のコード指向LLMをCrossPL上で評価した。
論文 参考訳（メタデータ） (2025-07-26T10:28:39Z) - Isolating Language-Coding from Problem-Solving: Benchmarking LLMs with PseudoEval [7.33924106492889]
既存のコード生成ベンチマークは、大規模言語モデルのエンドツーエンドのパフォーマンスを研究するために設計されている。
我々は擬似コードで書かれたソリューションを入力として提供する多言語コード生成ベンチマークであるPseudoEvalを構築した。
本研究は,プログラミング言語間で問題解決能力が伝達される可能性を示し,言語符号化には言語固有の取り組みが必要であることを示唆する。
論文 参考訳（メタデータ） (2025-02-26T14:08:17Z) - CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。
各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。
Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
論文 参考訳（メタデータ） (2024-08-23T11:43:00Z) - The Struggles of LLMs in Cross-lingual Code Clone Detection [3.5202378300682162]
言語間のコードクローン検出は、ソフトウェアエンジニアリングコミュニティ内で注目を集めている。
機械学習の大幅な進歩にインスパイアされた本論文では、言語間コードクローン検出を再考する。
言語間コードクローンの識別のための5つの大言語モデル (LLM) と8つのプロンプト (08) の性能評価を行った。
論文 参考訳（メタデータ） (2024-08-08T12:57:14Z) - Exploring Multi-Lingual Bias of Large Code Models in Code Generation [55.336629780101475]
コード生成は、自然言語(NL)仕様に基づいて、コードを合成し、機能要件を満たすことを目的としている。
有効性にもかかわらず、我々は大規模コードモデル(LCM)の生成性能において顕著な多言語バイアスを観察する。
LCMは、英語で指示を与えると解を生成する能力を示すが、中国語などの他のNLで意味論的に等価な命令に直面すると、失敗する可能性がある。
論文 参考訳（メタデータ） (2024-04-30T08:51:49Z) - IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。
まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。
次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。
IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
論文 参考訳（メタデータ） (2024-03-06T17:52:08Z) - AdaCCD: Adaptive Semantic Contrasts Discovery Based Cross Lingual
Adaptation for Code Clone Detection [69.79627042058048]
AdaCCDは、その言語でアノテーションを使わずに、新しい言語のクローンコードを検出する新しい言語間適応手法である。
5つのプログラミング言語からなる多言語コードクローン検出ベンチマークを構築し,AdaCCDの言語間適応性を評価する。
論文 参考訳（メタデータ） (2023-11-13T12:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。