論文の概要: Can NMT Understand Me? Towards Perturbation-based Evaluation of NMT Models for Code Generation

• arxiv url: http://arxiv.org/abs/2203.15319v1
• Date: Tue, 29 Mar 2022 08:01:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 03:42:14.224760
• Title: Can NMT Understand Me? Towards Perturbation-based Evaluation of NMT Models for Code Generation
• Title（参考訳）: NMTは私を理解できますか? 摂動に基づくコード生成のためのNMTモデルの評価に向けて
• Authors: Pietro Liguori, Cristina Improta, Simona De Vivo, Roberto Natella, Bojan Cukic and Domenico Cotroneo
• Abstract要約: NMTモデルの堅牢性を検証するための重要なステップは、その性能を逆入力で評価することである。 本研究では,そのようなモデルのロバスト性評価に適した摂動と測定値のセットを同定する。 モデルにどのような摂動が最も影響を与えるかを示す予備実験を行った。
• 参考スコア（独自算出の注目度）: 1.7616042687330642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Machine Translation (NMT) has reached a level of maturity to be recognized as the premier method for the translation between different languages and aroused interest in different research areas, including software engineering. A key step to validate the robustness of the NMT models consists in evaluating the performance of the models on adversarial inputs, i.e., inputs obtained from the original ones by adding small amounts of perturbation. However, when dealing with the specific task of the code generation (i.e., the generation of code starting from a description in natural language), it has not yet been defined an approach to validate the robustness of the NMT models. In this work, we address the problem by identifying a set of perturbations and metrics tailored for the robustness assessment of such models. We present a preliminary experimental evaluation, showing what type of perturbations affect the model the most and deriving useful insights for future directions.
• Abstract（参考訳）: ニューラルマシン翻訳(nmt)は、異なる言語間の翻訳の第一の方法として認識されるレベルに達し、ソフトウェア工学を含む様々な研究分野への関心を喚起した。 nmtモデルのロバスト性を検証するための重要なステップは、逆入力(すなわち、少量の摂動を加えることで元の入力から得られる入力)におけるモデルの性能を評価することである。 しかしながら、コード生成の特定のタスク(すなわち自然言語による記述から始まるコードの生成)を扱う場合、NMTモデルの堅牢性を検証するアプローチがまだ定義されていない。 本研究では,このようなモデルのロバスト性評価に適した摂動とメトリクスのセットを特定することで,この問題に対処する。 そこで本研究では,摂動のタイプがモデルに最も影響を与えていることを示す予備的な実験評価を行い,今後の方向性について有用な知見を導出する。

関連論文リスト

• Ask Language Model to Clean Your Noisy Translation Data [7.246698449812031]
  MTNTのターゲット文からノイズを除去することに集中し、ノイズ評価のベンチマークとしてより適している。 大規模言語モデル (LLM) はスラング, ジャーゴン, 代名詞を効果的に言い換えることができることを示す。 C-MTNT実験はNMTモデルのロバスト性を評価する上での有効性を示した。
  論文  参考訳（メタデータ） (2023-10-20T13:05:32Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Pseudo-Label Training and Model Inertia in Neural Machine Translation [18.006833174265612]
  ニューラルマシン翻訳(NMT)モデルは、小さな入力変更に敏感であり、リトレーニングやインクリメンタルモデル更新間で大きな変動を示す可能性がある。 本研究は,NMT(Pseudo-label Training, PLT)において, フォワード翻訳や自己学習の関連技術に共通する頻繁な手法について研究する。 品質の影響はよく文書化されていますが、あまり知られていない効果が浮かび上がっています。PLはモデルの安定性を高めて、モデルの更新や入力の摂動をモデル化します。
  論文  参考訳（メタデータ） (2023-05-19T16:45:19Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
  近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 取り出したノイズペアはモデル性能を劇的に低下させる。 ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T07:43:39Z)
• SALTED: A Framework for SAlient Long-Tail Translation Error Detection [17.914521288548844]
  本稿では,機械翻訳モデルの動作テストのための仕様ベースのフレームワークであるSALTEDを紹介する。 私たちのアプローチの核となるのは、ソース文とシステム出力の間のエラーをフラグする高精度検出器の開発です。 これらの検出器は,MTシステムにおける有意な長テール誤差の同定だけでなく,トレーニングデータの高精細フィルタリングにも有効であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T06:45:07Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
  本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。 本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。 その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T12:31:17Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。