論文の概要: Exploring and Unleashing the Power of Large Language Models in Automated Code Translation

• arxiv url: http://arxiv.org/abs/2404.14646v2
• Date: Sat, 11 May 2024 13:20:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 23:10:20.346792
• Title: Exploring and Unleashing the Power of Large Language Models in Automated Code Translation
• Title（参考訳）: 自動翻訳における大規模言語モデルのパワーの探索と解放
• Authors: Zhen Yang, Fang Liu, Zhongxing Yu, Jacky Wai Keung, Jia Li, Shuo Liu, Yifan Hong, Xiaoxue Ma, Zhi Jin, Ge Li,
• Abstract要約: 本稿では,自動翻訳タスクのための多種多様なLLMと学習ベーストランスパイラについて検討する。 UniTrans は、様々な LLM に適用可能な統一コード翻訳フレームワークである。 最近の3つのLLMはUniTransでテストされており、いずれも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 40.25727029618665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code translation tools (transpilers) are developed for automatic source-to-source translation. Although learning-based transpilers have shown impressive enhancement against rule-based counterparts, owing to their task-specific pre-training on extensive monolingual corpora. Their current performance still remains unsatisfactory for practical deployment, and the associated training resources are also prohibitively expensive. LLMs pre-trained on huge amounts of human-written code/text have shown remarkable performance in many code intelligence tasks due to their powerful generality, even without task-specific training. Thus, LLMs can potentially circumvent the above limitations, but they have not been exhaustively explored yet. This paper investigates diverse LLMs and learning-based transpilers for automated code translation tasks, finding that: although certain LLMs have outperformed current transpilers, they still have some accuracy issues, where most of the failures are induced by a lack of comprehension of source programs, missing clear instructions on I/O types in translation, and ignoring discrepancies between source and target programs. Enlightened by the above findings, we further propose UniTrans, a Unified code Translation framework, applicable to various LLMs, for unleashing their power in this field. Specifically, UniTrans first crafts a series of test cases for target programs with the assistance of source programs. Next, it harnesses the above auto-generated test cases to augment the code translation and then evaluate their correctness via execution. Afterward, UniTrans further (iteratively) repairs incorrectly translated programs prompted by test case execution results. Extensive experiments are conducted on six settings of translation datasets between Python, Java, and C++. Three recent LLMs of diverse sizes are tested with UniTrans, and all achieve substantial improvements.
• Abstract（参考訳）: コード翻訳ツール(トランスパイラ)は、ソースからソースへの自動翻訳のために開発されている。 学習ベースのトランスパイラは、広範囲なモノリンガルコーパスでタスク固有の事前学習のために、ルールベースのものに対して顕著に強化されている。 彼らの現在のパフォーマンスは、実際的なデプロイメントには相変わらず不満足であり、関連するトレーニングリソースも違法に高価である。 大量の人書きコード/テキストで事前訓練されたLLMは、タスク固有のトレーニングなしでも、その強力な汎用性のため、多くのコードインテリジェンスタスクにおいて顕著なパフォーマンスを示している。 したがって、LSMは上記の制限を回避できる可能性があるが、まだ徹底的に検討されていない。 本稿では,自動コード翻訳タスクのための多種多様なLLMと学習ベーストランスパイラについて検討し,一部のLLMが現在のトランスパイラより優れているものの,ほとんどの障害がソースプログラムの理解の欠如,翻訳におけるI/O型に関する明確な指示の欠如,ソースプログラムとターゲットプログラムの相違を無視するなど,いくつかの精度上の問題があることを明らかにする。 以上の知見に照らして、様々なLLMに適用可能な統一コード翻訳フレームワークUniTransを提案する。 具体的には、UniTransはまず、ソースプログラムの助けを借りて、ターゲットプログラムの一連のテストケースを作成する。 次に、上記の自動生成されたテストケースを利用して、コード翻訳を強化し、実行によってそれらの正確性を評価する。 その後、UniTransはテストケースの実行結果によって、不正に翻訳されたプログラムを修復する。 大規模な実験は、Python、Java、C++間の翻訳データセットの6つの設定で実施されている。 最近の3つのLLMはUniTransでテストされており、いずれも大幅に改善されている。

関連論文リスト

• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Towards Translating Real-World Code with LLMs: A Study of Translating to Rust [13.743967357458287]
  大規模言語モデル(LLM)は、ほとんどのプログラミング言語でコードを記述する能力のため、コード翻訳において有望であることを示す。 実世界のオープンソースプロジェクトから抽出したコードについて検討する。 FLOURINEは、差分ファジィを使用して、Rust翻訳が元のソースプログラムと同等のI/Oかどうかをチェックする、エンドツーエンドのコード変換ツールである。
  論文  参考訳（メタデータ） (2024-05-19T10:54:03Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• TransLLaMa: LLM-based Simultaneous Translation System [18.27477980076409]
  Decoderのみの大規模言語モデル(LLM)は,特別な"待機"トークンを生成することで,入力セグメンテーションを直接制御できることを示す。 これにより、別個の政策の必要性が排除され、LLMは英語とドイツ語と英語とロシア語のSiMTタスクを実行できるようになる。 また, GPT-4 などのクローズドソースモデルの評価を行い, 事前訓練をせずに SiMT タスクの実行を奨励する結果を示した。
  論文  参考訳（メタデータ） (2024-02-07T07:39:27Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• Syntax and Domain Aware Model for Unsupervised Program Translation [23.217899398362206]
  プログラム翻訳のための構文とドメイン認識モデルであるSDA-Transを提案する。 構文構造とドメイン知識を活用して、言語間転送能力を向上する。 Python、Java、C++間の関数変換タスクの実験結果は、SDA-Transが多くの大規模事前学習モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-02-08T06:54:55Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。