論文の概要: Repository-level Code Translation Benchmark Targeting Rust

• arxiv url: http://arxiv.org/abs/2411.13990v3
• Date: Tue, 26 Nov 2024 13:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:44.869174
• Title: Repository-level Code Translation Benchmark Targeting Rust
• Title（参考訳）: Rustをターゲットにしたリポジトリレベルのコード翻訳ベンチマーク
• Authors: Guangsheng Ou, Mingwei Liu, Yuxuan Chen, Xin Peng, Zibin Zheng,
• Abstract要約: Rustをターゲットにした375のタスクからなる、最初のリポジトリレベルのコード変換ベンチマークを紹介します。 このベンチマークを用いて、4つの最先端の大規模言語モデル(LLM)について検討する。 その結果,LCMは単純なタスクに比べて,リポジトリレベルでの翻訳性能が著しく低下(41.5%-56.2% Pass@1 drop of GPT-4)していることが判明した。
• 参考スコア（独自算出の注目度）: 28.25765853736366
• License:
• Abstract: Recent advances in large language models (LLMs) have shown significant capabilities in code translation, often evaluated using benchmarks like CodeTransOcean. However, these evaluations typically focus on simple, function-level translations without considering dependencies, which does not reflect the complexities of real-world software development. Further, their effectiveness in translating to newer, lower-resource languages like Rust in realistic scenarios is still under-explored. To address this gap, we introduce first repository-level code translation benchmark comprising 375 tasks targeting Rust, complete with relevant dependencies. Using this benchmark, we study four state-of-the-art LLMs, analyzing their erroneous outputs to understand their performance in more complex translation scenarios. Our findings reveal that LLMs exhibit substantially worse performance (41.5%-56.2% Pass@1 drop of GPT-4) on repository-level translations compared to simpler tasks, highlighting limitations in existing evaluation methods. The model that performed the best is Claude-3.5, demonstrating the strongest translation capabilities in both basic functionality accuracy and several relevant additional abilities. Additionally, we discover that LLMs struggle with identifying language differences in complex tasks, and that increased dependencies correlate with greater translation difficulty.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、コード翻訳において重要な機能を示し、しばしばCodeTransOceanのようなベンチマークを用いて評価されている。 しかしながら、これらの評価は通常、依存関係を考慮せずに、シンプルで機能レベルの翻訳に焦点を合わせ、実際のソフトウェア開発の複雑さを反映しない。 さらに、現実的なシナリオにおけるRustのような、より新しい、より低リソースな言語への翻訳の有効性については、まだ検討されていない。 このギャップに対処するため、Rustをターゲットにした375のタスクからなる、リポジトリレベルのコード変換ベンチマークを初めて導入しました。 このベンチマークを用いて、4つの最先端LCMを解析し、それらの誤りを解析し、より複雑な翻訳シナリオにおけるそれらの性能を理解する。 その結果, 従来の評価手法と比較して, LLM のリポジトリレベルの翻訳性能は著しく低下し (41.5%-56.2% Pass@1 drop of GPT-4) , 既存の評価手法の限界が強調された。 最善を尽くしたモデルはClaude-3.5で、基本的な機能の精度といくつかの関連する追加能力の両方において、最も強力な翻訳能力を示している。 さらに,LLMは複雑なタスクにおいて言語の違いを特定するのに苦労しており,依存関係の増加は翻訳の難しさと相関していることがわかった。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• AAVENUE: Detecting LLM Biases on NLU Tasks in AAVE via a Novel Benchmark [3.1927733045184885]
  AAVENUE は、AAVE と Standard American English の NLU タスクにおける大きな言語モデル (LLM) のパフォーマンスを評価するためのベンチマークである。 AAVENUE と VALUE の翻訳を,5つの人気のある LLM と,フルーエンシ,BARTScore,品質,コヒーレンス,理解可能性などの総合的な指標を用いて比較した。 評価の結果, LLM は AAVE に翻訳されたバージョンよりも, SAE タスクで一貫した性能が向上し, 固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-08-27T07:56:35Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Towards Translating Real-World Code with LLMs: A Study of Translating to Rust [13.743967357458287]
  大規模言語モデル(LLM)は、ほとんどのプログラミング言語でコードを記述する能力のため、コード翻訳において有望であることを示す。 実世界のオープンソースプロジェクトから抽出したコードについて検討する。 FLOURINEは、差分ファジィを使用して、Rust翻訳が元のソースプログラムと同等のI/Oかどうかをチェックする、エンドツーエンドのコード変換ツールである。
  論文  参考訳（メタデータ） (2024-05-19T10:54:03Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement [26.26493253161022]
  大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
  論文  参考訳（メタデータ） (2024-02-26T07:58:12Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。