論文の概要: On the Evaluation of Neural Code Translation: Taxonomy and Benchmark

• arxiv url: http://arxiv.org/abs/2308.08961v1
• Date: Thu, 17 Aug 2023 13:05:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 13:50:07.235178
• Title: On the Evaluation of Neural Code Translation: Taxonomy and Benchmark
• Title（参考訳）: ニューラルコード翻訳の評価について:分類学とベンチマーク
• Authors: Mingsheng Jiao, Tingrui Yu, Xuan Li, Guanjie Qiu, Xiaodong Gu, Beijun Shen
• Abstract要約: 我々は,コードの翻訳タスクを,その複雑さと知識依存度に応じて4つの一次タイプに分類する分類法を開発した。 次に、これらの4つのカテゴリで既存のアプローチがどのように機能するかを徹底的に分析する。 以上の結果から,最先端のコード翻訳モデルでは1型,2型が優れているが,3型,4型といった知識に依存しない翻訳に苦慮していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 12.431884660186281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, neural code translation has gained increasing attention. While most of the research focuses on improving model architectures and training processes, we notice that the evaluation process and benchmark for code translation models are severely limited: they primarily treat source code as natural languages and provide a holistic accuracy score while disregarding the full spectrum of model capabilities across different translation types and complexity. In this paper, we present a comprehensive investigation of four state-of-the-art models and analyze in-depth the advantages and limitations of three existing benchmarks. Based on the empirical results, we develop a taxonomy that categorizes code translation tasks into four primary types according to their complexity and knowledge dependence: token level (type 1), syntactic level (type 2), library level (type 3), and algorithm level (type 4). We then conduct a thorough analysis of how existing approaches perform across these four categories. Our findings indicate that while state-of-the-art code translation models excel in type-1 and type-2 translations, they struggle with knowledge-dependent ones such as type-3 and type-4. Existing benchmarks are biased towards trivial translations, such as keyword mapping. To overcome these limitations, we construct G-TransEval, a new benchmark by manually curating type-3 and type-4 translation pairs and unit test cases. Results on our new benchmark suggest that G-TransEval can exhibit more comprehensive and finer-grained capability of code translation models and thus provide a more rigorous evaluation. Our studies also provide more insightful findings and suggestions for future research, such as building type-3 and type-4 training data and ensembling multiple pretraining approaches.
• Abstract（参考訳）: 近年、神経コード翻訳が注目されている。 主にソースコードを自然言語として扱い、様々な翻訳タイプと複雑さにまたがるモデル能力のスペクトルを完全に無視しながら、総合的な正確性スコアを提供する。 本稿では,4つの最先端モデルの包括的調査を行い,既存の3つのベンチマークの利点と限界を詳細に分析する。 実験結果に基づき,その複雑性と知識依存度に応じて,コード翻訳タスクを4つの主要型に分類する分類法(トークンレベル(タイプ1),構文レベル(タイプ2),ライブラリレベル(タイプ3),アルゴリズムレベル(タイプ4))を開発した。 次に、これらの4つのカテゴリで既存のアプローチがどのように機能するかを徹底的に分析する。 以上の結果から,最先端のコード翻訳モデルでは1型,2型が優れているが,3型,4型といった知識に依存しない翻訳に苦慮していることが明らかとなった。 既存のベンチマークはキーワードマッピングのような自明な翻訳に偏っている。 これらの制約を克服するため,タイプ3とタイプ4の翻訳ペアと単体テストケースを手作業でキュレートした新しいベンチマークであるG-TransEvalを構築した。 新しいベンチマークの結果から,g-transevalはコード翻訳モデルのより包括的できめ細かな能力を示し,より厳密な評価ができることが示唆された。 また,本研究は,3型および4型トレーニングデータの構築や,複数の事前学習アプローチの実施など,今後の研究への洞察と提案も提供する。

関連論文リスト

• EquiBench: Benchmarking Code Reasoning Capabilities of Large Language Models via Equivalence Checking [54.354203142828084]
  本稿では,大規模言語モデルのコード推論能力を評価する新しい手法として等価チェックの課題を提案する。 EquiBenchは、4つのプログラミング言語と6つの等価カテゴリにまたがる2400のプログラムペアのデータセットである。 その結果,OpenAI o3-miniの精度は78.0%と高いことがわかった。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Large Language Models For Text Classification: Case Study And Comprehensive Review [0.3428444467046467]
  各種言語モデル(LLM)の性能を,最先端のディープラーニングモデルや機械学習モデルと比較して評価する。 本研究は,提案手法に基づくモデル応答の有意な変動を明らかにした。
  論文  参考訳（メタデータ） (2025-01-14T22:02:38Z)
• Repository-level Code Translation Benchmark Targeting Rust [28.25765853736366]
  Rustをターゲットにした375のタスクからなる、最初のリポジトリレベルのコード変換ベンチマークを紹介します。 このベンチマークを用いて、4つの最先端の大規模言語モデル(LLM)について検討する。 その結果,LCMは単純なタスクに比べて,リポジトリレベルでの翻訳性能が著しく低下(41.5%-56.2% Pass@1 drop of GPT-4)していることが判明した。
  論文  参考訳（メタデータ） (2024-11-21T10:00:52Z)
• Benchmarking GPT-4 against Human Translators: A Comprehensive Evaluation Across Languages, Domains, and Expertise Levels [20.05501751993599]
  GPT-4は、全エラーの点において、中級のトランスレータに匹敵する性能を達成する。 従来のニューラル機械翻訳システムとは異なり、GPT-4は全ての評価された言語対に対して一貫した翻訳品質を維持している。
  論文  参考訳（メタデータ） (2024-11-21T01:12:46Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Multilingual and Multi-topical Benchmark of Fine-tuned Language models and Large Language Models for Check-Worthy Claim Detection [1.4779899760345434]
  本研究では,(1)微調整言語モデルと(2)チェック価値のあるクレーム検出タスクにおける大規模言語モデルの性能を比較した。 様々なソースやスタイルのテキストからなる多言語・多言語データセットを構築した。
  論文  参考訳（メタデータ） (2023-11-10T15:36:35Z)
• On Search Strategies for Document-Level Neural Machine Translation [51.359400776242786]
  文書レベルのニューラルネットワーク変換(NMT)モデルは、ドキュメント全体にわたってより一貫性のある出力を生成する。 そこで本研究では,デコードにおける文脈認識翻訳モデルをどのように活用するか,という質問に答えることを目的としている。
  論文  参考訳（メタデータ） (2023-06-08T11:30:43Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• Rethinking Document-level Neural Machine Translation [73.42052953710605]
  現在のモデルでは、ドキュメントレベルの翻訳に十分な能力がありますか? 適切なトレーニング技術を持つオリジナルのトランスフォーマーは,2000語の長さであっても,文書翻訳の強力な結果が得られることを観察する。
  論文  参考訳（メタデータ） (2020-10-18T11:18:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。