論文の概要: CodeRosetta: Pushing the Boundaries of Unsupervised Code Translation for Parallel Programming

• arxiv url: http://arxiv.org/abs/2410.20527v1
• Date: Sun, 27 Oct 2024 17:34:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:13.050866
• Title: CodeRosetta: Pushing the Boundaries of Unsupervised Code Translation for Parallel Programming
• Title（参考訳）: CodeRosetta: 並列プログラミングのための教師なしコード翻訳の境界を押し上げる
• Authors: Ali TehraniJamsaz, Arijit Bhattacharjee, Le Chen, Nesreen K. Ahmed, Amir Yazdanbakhsh, Ali Jannesari,
• Abstract要約: 我々は,プログラミング言語とHPC拡張間の翻訳に特化して設計されたエンコーダ・デコーダモデルであるCodeRosettaを紹介する。 CodeRosettaはC++から並列C++翻訳タスクで評価される。 以上の結果から,CodeRosettaはC++の最先端のベースラインよりも翻訳に優れていた。
• 参考スコア（独自算出の注目度）: 15.391781573025787
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have renewed interest in automatic programming language translation. Encoder-decoder transformer models, in particular, have shown promise in translating between different programming languages. However, translating between a language and its high-performance computing (HPC) extensions remains underexplored due to challenges such as complex parallel semantics. In this paper, we introduce CodeRosetta, an encoder-decoder transformer model designed specifically for translating between programming languages and their HPC extensions. CodeRosetta is evaluated on C++ to CUDA and Fortran to C++ translation tasks. It uses a customized learning framework with tailored pretraining and training objectives to effectively capture both code semantics and parallel structural nuances, enabling bidirectional translation. Our results show that CodeRosetta outperforms state-of-the-art baselines in C++ to CUDA translation by 2.9 BLEU and 1.72 CodeBLEU points while improving compilation accuracy by 6.05%. Compared to general closed-source LLMs, our method improves C++ to CUDA translation by 22.08 BLEU and 14.39 CodeBLEU, with 2.75% higher compilation accuracy. Finally, CodeRosetta exhibits proficiency in Fortran to parallel C++ translation, marking it, to our knowledge, as the first encoder-decoder model for this complex task, improving CodeBLEU by at least 4.63 points compared to closed-source and open-code LLMs.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩は、プログラミング言語の自動翻訳に新たな関心を寄せている。 特にエンコーダ・デコーダ変換モデルは、異なるプログラミング言語間の翻訳において有望であることを示している。 しかし、言語とハイパフォーマンスコンピューティング(HPC)拡張の翻訳は、複雑な並列セマンティクスのような課題のため、まだ未解決のままである。 本稿では,プログラム言語とHPC拡張間の変換に特化して設計されたエンコーダ・デコーダ変換モデルであるCodeRosettaを紹介する。 CodeRosettaはC++からCUDA、FortranからC++への変換タスクで評価される。 コードセマンティクスと並列構造ニュアンスの両方を効果的にキャプチャし、双方向の翻訳を可能にする。 以上の結果から,CodeRosettaはC++からCUDAへの変換において2.9BLEUと1.72 CodeBLEUポイントを上回り,コンパイル精度は6.05%向上した。 一般のオープンソース LLM と比較して,C++ から CUDA への変換を 22.08 BLEU と 14.39 の CodeBLEU で改善し,コンパイル精度は 2.75% 向上した。 最後に、CodeRosettaはFortranの並列C++翻訳の習熟度を示し、この複雑なタスクのための最初のエンコーダ・デコーダモデルとして、我々の知識にマーキングし、クローズドソースおよびオープンコードLLMと比較して、CodeBLEUを少なくとも4.63ポイント改善した。

関連論文リスト

• Leveraging Large Language Models for Code Translation and Software Development in Scientific Computing [0.9668407688201359]
  生成人工知能(GenAI)は、科学計算における生産性を変革する。 我々は、コード変換の効率的なプロセスを確立するために、プロンプトエンジニアリングとユーザ管理を組み合わせたCodeScribeというツールを開発した。 AIによるコード翻訳の課題にも対処し、科学計算における生産性向上のメリットを強調します。
  論文  参考訳（メタデータ） (2024-10-31T16:48:41Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.7413285637879]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• Converting Epics/Stories into Pseudocode using Transformers [0.0]
  Pseudocodeは、コンピュータプログラムに関わるステップのプログラミング言語表現である。 本稿では,英語で記述された問題を擬似コードに変換する手法を提案する。 上記の2つのサブタスクで個別にトレーニングすると,CodeT5モデルはBLEUスコアで最高の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-12-08T14:01:09Z)
• Data Augmentation for Code Translation with Comparable Corpora and Multiple References [21.754147577489764]
  我々は、自然言語ドキュメントから生成されたプログラムを含む、比較可能なコーパスの複数のタイプを構築し、分析する。 単一の参照変換に対する過度な適合を低減するため、利用可能な並列データに対する追加の翻訳参照を自動生成する。 実験の結果,Java,Python,C++間の変換において,平均7.5%の計算精度でコードT5が大幅に改善された。
  論文  参考訳（メタデータ） (2023-11-01T06:01:22Z)
• Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
  学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。 確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。 Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
  論文  参考訳（メタデータ） (2023-09-25T15:42:18Z)
• Exploring Continual Learning for Code Generation Models [80.78036093054855]
  継続的学習(CL)は、コードドメインの中でまだ過小評価されていない重要な側面である。 コード生成,翻訳,要約,改良など,幅広いタスクをカバーするCodeTask-CLというベンチマークを導入する。 即時選択機構の不安定な訓練により,プロンプトプール (PP) などの有効手法が破滅的な忘れ込みに悩まされることが判明した。
  論文  参考訳（メタデータ） (2023-07-05T16:58:39Z)
• Knowledge Transfer for Pseudo-code Generation from Low Resource Programming Language [13.716669765394293]
  我々は、並列コード-擬似コードデータを用いて、高リソースPL(C++)で訓練されたコード-擬似コードニューラルモデルによって得られた知識の伝達に焦点をあてる。 後方翻訳により生成されたC符号の成功率を23.27%向上させる。
  論文  参考訳（メタデータ） (2023-03-16T03:38:08Z)
• Code Translation with Compiler Representations [21.702473137941006]
  従来のトランスパイラは構文情報と手作りのルールに依存しており、適用性が制限され、不自然なコードを生成する。 コードへのニューラルマシン翻訳(NMT)アプローチの適用は、自然な翻訳を得られる一連のプログラムをうまく拡張した。 ここでは、C++、Java、Rust、Go言語に関する結果とともに、IR、特にLLVM IRによるコード翻訳を強化することを提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:21:57Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。