論文の概要: RepoTransBench: A Real-World Benchmark for Repository-Level Code Translation

• arxiv url: http://arxiv.org/abs/2412.17744v1
• Date: Mon, 23 Dec 2024 17:52:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:58.894384
• Title: RepoTransBench: A Real-World Benchmark for Repository-Level Code Translation
• Title（参考訳）: RepoTransBench: リポジトリレベルのコード翻訳のための実世界のベンチマーク
• Authors: Yanli Wang, Yanlin Wang, Suiquan Wang, Daya Guo, Jiachi Chen, John Grundy, Xilin Liu, Yuchi Ma, Mingzhi Mao, Hongyu Zhang, Zibin Zheng,
• Abstract要約: リポジトリレベルのコード変換(Repository-level code translation)とは、コードリポジトリ全体をあるプログラミング言語から別の言語に翻訳することを指す。 以前のベンチマークでは、コードスニペット、関数、ファイルレベルのコード変換のいずれかに焦点を当てた、きめ細かいサンプルが提供されていた。 自動実行テストスイートを備えた実世界のリポジトリレベルのコード翻訳ベンチマークであるRepoTransBenchを提案する。
• 参考スコア（独自算出の注目度）: 44.856816446807265
• License:
• Abstract: Repository-level code translation refers to translating an entire code repository from one programming language to another while preserving the functionality of the source repository. Many benchmarks have been proposed to evaluate the performance of such code translators. However, previous benchmarks mostly provide fine-grained samples, focusing at either code snippet, function, or file-level code translation. Such benchmarks do not accurately reflect real-world demands, where entire repositories often need to be translated, involving longer code length and more complex functionalities. To address this gap, we propose a new benchmark, named RepoTransBench, which is a real-world repository-level code translation benchmark with an automatically executable test suite. We conduct experiments on RepoTransBench to evaluate the translation performance of 11 advanced LLMs. We find that the Success@1 score (test success in one attempt) of the best-performing LLM is only 7.33%. To further explore the potential of LLMs for repository-level code translation, we provide LLMs with error-related feedback to perform iterative debugging and observe an average 7.09% improvement on Success@1. However, even with this improvement, the Success@1 score of the best-performing LLM is only 21%, which may not meet the need for reliable automatic repository-level code translation. Finally, we conduct a detailed error analysis and highlight current LLMs' deficiencies in repository-level code translation, which could provide a reference for further improvements.
• Abstract（参考訳）: リポジトリレベルのコード変換(Repository-level code translation)とは、ソースコードリポジトリの機能を保持しながら、コードリポジトリ全体をあるプログラミング言語から別の言語に翻訳することを指す。 このようなコードトランスレータの性能を評価するために多くのベンチマークが提案されている。 しかしながら,以前のベンチマークでは,コードスニペットや関数,ファイルレベルのコード変換といった,詳細なサンプルが主に提供されていた。 このようなベンチマークは現実の要求を正確に反映していない。レポジトリ全体を変換する必要がしばしばあり、コード長とより複雑な機能を含んでいる。 このギャップに対処するため,RepoTransBenchという,自動実行可能なテストスイートを備えた実世界のリポジトリレベルのコード翻訳ベンチマークを提案する。 我々はRepoTransBench実験を行い、11個の高度なLCMの翻訳性能を評価する。 ベストパフォーマンスのLDMのSuccess@1スコア(1回の試行でのテスト成功)は7.33%に過ぎなかった。 リポジトリレベルのコード翻訳におけるLLMの可能性をさらに探求するため、私たちはLLMにエラー関連のフィードバックを提供し、反復的なデバッグを行い、Success@1で平均7.09%の改善を観察します。 しかし、この改善にもかかわらず、最高のパフォーマンスの LLM の Success@1 スコアは 21% に過ぎず、信頼性の高いリポジトリレベルのコード変換を必要としない可能性がある。 最後に、詳細なエラー解析を行い、レポジトリレベルのコード翻訳における現在のLLMの欠陥を強調します。

関連論文リスト

• Repository-level Code Translation Benchmark Targeting Rust [28.25765853736366]
  Rustをターゲットにした375のタスクからなる、最初のリポジトリレベルのコード変換ベンチマークを紹介します。 このベンチマークを用いて、4つの最先端の大規模言語モデル(LLM)について検討する。 その結果,LCMは単純なタスクに比べて,リポジトリレベルでの翻訳性能が著しく低下(41.5%-56.2% Pass@1 drop of GPT-4)していることが判明した。
  論文  参考訳（メタデータ） (2024-11-21T10:00:52Z)
• Escalating LLM-based Code Translation Benchmarking into the Class-level Era [20.22104136730419]
  ClassEval-Tは、Large Language Models (LLM)向けのクラスレベルのコード変換ベンチマークである。 ClassEvalをベースに構築されたClassEval-Tは、JavaとC++に拡張され、完全なコードサンプルとテストスイートが提供される。
  論文  参考訳（メタデータ） (2024-11-09T11:13:14Z)
• Repository-Level Compositional Code Translation and Validation [5.269923665485903]
  リポジトリレベルのコード翻訳を自動化するニューロシンボリックアプローチであるAlphaTransを提案する。 AlphaTransを利用して,836,8575,2719>クラス,メソッド,テストからなる10の実世界のオープンソースプロジェクトを翻訳しました。 翻訳されたコード断片の99.1%は構文的に正しいものであり、AlphaTransは翻訳の動作と機能的正しさを25.8%で検証している。
  論文  参考訳（メタデータ） (2024-10-31T16:46:52Z)
• Towards Translating Real-World Code with LLMs: A Study of Translating to Rust [13.743967357458287]
  大規模言語モデル(LLM)は、ほとんどのプログラミング言語でコードを記述する能力のため、コード翻訳において有望であることを示す。 実世界のオープンソースプロジェクトから抽出したコードについて検討する。 FLOURINEは、差分ファジィを使用して、Rust翻訳が元のソースプログラムと同等のI/Oかどうかをチェックする、エンドツーエンドのコード変換ツールである。
  論文  参考訳（メタデータ） (2024-05-19T10:54:03Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• AlignBench: Benchmarking Chinese Alignment of Large Language Models [99.24597941555277]
  中国語大言語モデルのアライメントを評価するための総合ベンチマークであるAlignBenchを紹介する。 我々は,8つの主要なカテゴリ,683の実シナリオ根付きクエリ,およびそれに対応する人間の検証基準を含む,ループ内データキュレーションパイプラインを設計する。 自動評価には,Chain-of-Thoughtを用いた多次元LCM-as-Judgecitezheng2023アジュジング手法を用いて説明と最終評価を生成する。
  論文  参考訳（メタデータ） (2023-11-30T17:41:30Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Lost in Translation: A Study of Bugs Introduced by Large Language Models while Translating Code [5.915447908295047]
  コード翻訳における一般LLMとコードLLMの能力について,大規模な実証的研究を行った。 私たちの研究は、3つのベンチマークと2つの実世界のプロジェクトからの1,700のコードサンプルの翻訳に関するものです。 LLMの正しい翻訳は2.1%から47.3%であることがわかった。
  論文  参考訳（メタデータ） (2023-08-06T13:33:13Z)
• RepoCoder: Repository-Level Code Completion Through Iterative Retrieval and Generation [96.75695811963242]
  RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。 類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。 バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-03-22T13:54:46Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。