Fugu-MT 論文翻訳(概要): Assessing and Improving Syntactic Adversarial Robustness of Pre-trained Models for Code Translation

論文の概要: Assessing and Improving Syntactic Adversarial Robustness of Pre-trained Models for Code Translation

arxiv url: http://arxiv.org/abs/2310.18587v1
Date: Sat, 28 Oct 2023 04:35:24 GMT
ステータス: 処理完了
システム内更新日: 2023-10-31 17:41:50.827233
Title: Assessing and Improving Syntactic Adversarial Robustness of Pre-trained Models for Code Translation
Title（参考訳）: コード翻訳のための事前学習モデルの構文的逆ロバスト性の評価と改善
Authors: Guang Yang, Yu Zhou, Xiangyu Zhang, Xiang Chen, Tingting Han, Taolue Chen
Abstract要約: CoTRはCoTR-AとCoTR-Dの2つのコンポーネントから構成される。 CoTRの有効性は、実世界のJavaからPythonのデータセットの実験を通じて評価される。
参考スコア（独自算出の注目度）: 19.186392871168064
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Context: Pre-trained models (PTMs) have demonstrated significant potential in automatic code translation. However, the vulnerability of these models in translation tasks, particularly in terms of syntax, has not been extensively investigated. Objective: To fill this gap, our study aims to propose a novel approach CoTR to assess and improve the syntactic adversarial robustness of PTMs in code translation. Method: CoTR consists of two components: CoTR-A and CoTR-D. CoTR-A generates adversarial examples by transforming programs, while CoTR-D proposes a semantic distance-based sampling data augmentation method and adversarial training method to improve the model's robustness and generalization capabilities. The Pass@1 metric is used by CoTR to assess the performance of PTMs, which is more suitable for code translation tasks and offers a more precise evaluation in real world scenarios. Results: The effectiveness of CoTR is evaluated through experiments on real world Java to Python datasets. The results demonstrate that CoTR-A can significantly reduce the performance of existing PTMs, while CoTR-D effectively improves the robustness of PTMs. Conclusion: Our study identifies the limitations of current PTMs, including large language models, in code translation tasks. It highlights the potential of CoTR as an effective solution to enhance the robustness of PTMs for code translation tasks.
Abstract（参考訳）: コンテキスト: 事前訓練されたモデル(PTM)は、自動コード翻訳において大きな可能性を示している。しかし、翻訳タスクにおけるこれらのモデルの脆弱性は、特に構文の観点からは、広く研究されていない。目的: このギャップを埋めるために, コード翻訳における PTM の構文的対角性を評価するための新しいアプローチである CoTR を提案する。方法:CoTRはCoTR-AとCoTR-Dの2つのコンポーネントから構成される。 CoTR-Aはプログラムを変換することで逆例を生成する一方、CoTR-Dはモデルの堅牢性と一般化能力を改善するために意味的距離に基づくサンプリングデータ拡張法と逆トレーニング法を提案する。 Pass@1メトリックは、コード翻訳タスクに適しており、現実世界のシナリオでより正確な評価を提供するPTMのパフォーマンスを評価するために、CoTRによって使用される。結果: CoTRの有効性は,実世界のJavaからPythonへのデータセットの実験を通じて評価される。その結果,CoTR-Aは既存のPTMの性能を大幅に低下させることができる一方で,CoTR-DはPTMの堅牢性を効果的に向上することがわかった。結論:本研究では,コード翻訳タスクにおいて,大規模言語モデルを含む現在のPTMの限界を明らかにする。これは、コード翻訳タスクにおけるPTMの堅牢性を高める効果的なソリューションとしてのCoTRの可能性を強調している。

関連論文リスト

Patched RTC: evaluating LLMs for diverse software development tasks [1.14219428942199]
本稿では,Large Language Models (LLM) の新たな評価手法であるPatched Round-Trip Correctness (Patched RTC)を紹介する。 Patched RTCは、人間の介入なしにモデルの応答の一貫性と堅牢性を測定する、自己評価フレームワークを提供する。 GPT-3.5とGPT-4を異なるソフトウェア開発タスクで比較した結果、Patched RTCはモデルの性能とタスクの難易度を効果的に区別することがわかった。
論文参考訳（メタデータ） (2024-07-23T15:12:14Z)
Fast Context-Biasing for CTC and Transducer ASR models with CTC-based Word Spotter [57.64003871384959]
この研究は、CTCベースのWord Spotterでコンテキストバイアスを高速化するための新しいアプローチを示す。提案手法は,CTCログ確率をコンパクトなコンテキストグラフと比較し,潜在的なコンテキストバイアス候補を検出する。その結果、FスコアとWERの同時改善により、文脈バイアス認識の大幅な高速化が示された。
論文参考訳（メタデータ） (2024-06-11T09:37:52Z)
CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文参考訳（メタデータ） (2024-05-17T07:43:25Z)
Markovian Transformers for Informative Language Modeling [0.9642500063568188]
CoT(Chain-of-Thought)推論は、言語モデルのアウトプットを説明する上で非常に有望である。最近の研究は、解釈可能性への実践的応用において重要な課題を浮き彫りにした。本稿では,中間的なCoTテキストによる次トーケン予測を導出し,CoTが因果的負荷分散であることを保証する手法を提案する。
論文参考訳（メタデータ） (2024-04-29T17:36:58Z)
ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
論文参考訳（メタデータ） (2024-03-21T11:34:26Z)
ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction [45.15127775876369]
クリックスルー率(CTR)の予測は、様々なインターネットアプリケーションにとってますます不可欠になっている。従来のCTRモデルは、マルチフィールド分類データをワンホット符号化によりID特徴に変換し、特徴間の協調信号を抽出する。我々は、CTRモデルを組み込んで対話対応ソフトプロンプトを生成する、新しいモデル非依存フレームワーク(ClickPrompt)を提案する。
論文参考訳（メタデータ） (2023-10-13T16:37:53Z)
DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
論文参考訳（メタデータ） (2023-05-03T12:34:45Z)
Generating Authentic Adversarial Examples beyond Meaning-preserving with Doubly Round-trip Translation [64.16077929617119]
二重ラウンド・トリップ翻訳(DRTT)に基づくNMT逆例の新しい基準を提案する。 NMTモデルの堅牢性を高めるため,両言語対を構築するためのマスキング言語モデルを提案する。
論文参考訳（メタデータ） (2022-04-19T06:15:27Z)
Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation [98.11249019844281]
知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。低周波対象語に対するアライメントを向上するために,逆KDを提案する。その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
論文参考訳（メタデータ） (2021-06-02T02:41:40Z)
Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
論文参考訳（メタデータ） (2021-04-24T07:33:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。