論文の概要: CodeTransBenchmark: Evaluating LLM-based Code Translation and Repair Across Programming Languages

• arxiv url: http://arxiv.org/abs/2609.20257v1
• Date: Tue, 28 Jul 2026 16:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.646102
• Title: CodeTransBenchmark: Evaluating LLM-based Code Translation and Repair Across Programming Languages
• Title（参考訳）: CodeTransBenchmark: プログラミング言語間のLLMベースのコード翻訳と修復を評価する
• Abstract要約: 拡張テキストとコードコーパスで事前訓練されたLarge Language Models (LLMs)は、有望なコード機能を明らかにし、コード翻訳において注目を集めている。 本研究では,コード翻訳および翻訳誤り修復におけるLLMの有効性について検討する。
• 参考スコア（独自算出の注目度）: 0.4914401344126589
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) pre-trained on expansive text and code corpora have revealed promising code generation abilities and have attracted increasing attention in code translation. In this work, we investigate the effectiveness of LLMs in code translation and translation error repair. First, we present CodeTransBenchmark, a framework for evaluating LLM-based translation and repair and devise a post-processing strategy to extract code from inconsistent LLM outputs. Then, we discuss an empirical study evaluates eight models on three datasets and 12 language pairs, in which we categorize incorrect translations by errors to identify weaknesses of existing LLMs. Our work shows that while LLMs specifically trained for multi-lingual coding, like Codestral, correctly translate the majority of code, most general-purpose models struggle with the syntactic rules of the target language. The analysis of erroneous translations reveals the substantial impact of the interrelationship between involved programming languages and training data on the effectiveness. We show that a general post-processing approach must tolerate inconsistencies and leverage the predictability of LLM answers. Further, we show that iterative translation repair via automated feedback significantly improves translation accuracy. While our combined findings highlight the potential of LLMs to automate code translation, an effective deployment of LLM-based code translation in practice would require models with larger context windows.
• Abstract（参考訳）: 拡張テキストとコードコーパスで事前訓練されたLarge Language Models (LLMs)は、有望なコード生成能力を示し、コード翻訳において注目を集めている。 本研究では,コード翻訳および翻訳誤り修復におけるLLMの有効性について検討する。 まず,LLMに基づく翻訳と修復を評価するためのフレームワークであるCodeTransBenchmarkを紹介し,一貫性のないLLM出力からコードを取り出すための後処理戦略を考案する。 次に,3つのデータセットと12の言語対に対して8つのモデルを評価する実験的検討を行い,誤り翻訳を誤りによって分類し,既存のLLMの弱点を特定する。 私たちの研究によると、LLMは、Codestralのような多言語コーディングのために特別に訓練されているが、ほとんどの汎用モデルは、ターゲット言語の構文規則に苦慮している。 誤訳の分析は、関連するプログラミング言語と学習データとの相互関係が効果に与える影響を明らかにしている。 一般的な後処理アプローチでは,不整合を許容し,LLM回答の予測可能性を活用する必要がある。 さらに,自動フィードバックによる反復的翻訳修復は翻訳精度を大幅に向上させることを示した。 組み合わせた結果は,LLMがコード翻訳を自動化する可能性を浮き彫りにしたものだが,実際にLLMベースのコード翻訳を効果的に展開するには,より大きなコンテキストウィンドウを持つモデルが必要である。

関連論文リスト

• CodeSimpleQA: Scaling Factuality in Code Large Language Models [55.705748501461294]
  本稿では,コード関連質問への回答において,LLMの実際の精度を評価するための総合的なベンチマークであるCodeSimpleQAを提案する。 また,66万サンプルの大規模インストラクションコーパスであるCodeSimpleQA-Instructを作成し,教師付き微調整と強化学習を組み合わせたポストトレーニングフレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-22T14:27:17Z)
• Lost in Literalism: How Supervised Training Shapes Translationese in LLMs [51.04435855143767]
  大規模言語モデル(LLM)は機械翻訳において顕著な成功を収めた。 しかし、過度にリテラルと不自然な翻訳を特徴とする翻訳は、依然として永続的な課題である。 我々は、黄金の基準を磨き、不自然なトレーニングインスタンスをフィルタリングするなど、これらのバイアスを軽減する方法を導入する。
  論文  参考訳（メタデータ） (2025-03-06T12:14:45Z)
• CHAI for LLMs: Improving Code-Mixed Translation in Large Language Models through Reinforcement Learning with AI Feedback [11.223762031003671]
  大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示しているが、コード混在(またはコード切替)言語理解に苦慮している。 本稿では,多言語LLMのコード混合言語処理能力を向上させるための新しいフレームワークであるCHAIを提案する。 解析の結果,CHAI を用いた LLM は,コード混在翻訳タスクにおいて,最先端のオープンソース LLM よりも25.66% 向上していることがわかった。
  論文  参考訳（メタデータ） (2024-11-13T22:56:00Z)
• Semantic Alignment-Enhanced Code Translation via an LLM-Based Multi-Agent System [24.52067108242477]
  コード翻訳は、ソフトウェアマイグレーション、システムアブレーション、クロスプラットフォーム開発に不可欠である。 従来のルールベースのメソッドは手書きのルールに依存している。 最近では、LLM(Large Language Models)の進歩により、学習ベースのコード翻訳がさらに強化されている。 本稿では,構文誤りや意味的誤りを解消し,LLMに基づくコード翻訳を強化した新しいマルチエージェントシステムTransagENTを提案する。
  論文  参考訳（メタデータ） (2024-09-30T02:53:03Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。