論文の概要: NMTSloth: Understanding and Testing Efficiency Degradation of Neural
Machine Translation Systems
- arxiv url: http://arxiv.org/abs/2210.03696v1
- Date: Fri, 7 Oct 2022 17:01:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 12:31:07.459136
- Title: NMTSloth: Understanding and Testing Efficiency Degradation of Neural
Machine Translation Systems
- Title(参考訳): nmtsloth: ニューラルマシン翻訳システムの理解とテスト効率の低下
- Authors: Simin Chen, Cong Liu, Mirazul Haque, Zihe Song, Wei Yang
- Abstract要約: 我々は、最先端のNTTシステムにおいて、潜在的な計算効率の堅牢性を理解し、テストするための最初の試みを行う。
1455の公開アクセス可能なNMTシステムの動作機構と実装を解析することにより,計算効率を著しく低減するために,逆向きに操作できるNMTシステムの基本特性を観察する。
NMTSlothは,文字レベル,トークンレベル,構造レベルでの極小かつ目立たない摂動を探索する勾配誘導手法を開発した。
- 参考スコア(独自算出の注目度): 11.657632205022102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Machine Translation (NMT) systems have received much recent attention
due to their human-level accuracy. While existing works mostly focus on either
improving accuracy or testing accuracy robustness, the computation efficiency
of NMT systems, which is of paramount importance due to often vast translation
demands and real-time requirements, has surprisingly received little attention.
In this paper, we make the first attempt to understand and test potential
computation efficiency robustness in state-of-the-art NMT systems. By analyzing
the working mechanism and implementation of 1455 public-accessible NMT systems,
we observe a fundamental property in NMT systems that could be manipulated in
an adversarial manner to reduce computation efficiency significantly. Our key
motivation is to generate test inputs that could sufficiently delay the
generation of EOS such that NMT systems would have to go through enough
iterations to satisfy the pre-configured threshold. We present NMTSloth, which
develops a gradient-guided technique that searches for a minimal and
unnoticeable perturbation at character-level, token-level, and structure-level,
which sufficiently delays the appearance of EOS and forces these inputs to
reach the naturally-unreachable threshold. To demonstrate the effectiveness of
NMTSloth, we conduct a systematic evaluation on three public-available NMT
systems: Google T5, AllenAI WMT14, and Helsinki-NLP translators. Experimental
results show that NMTSloth can increase NMT systems' response latency and
energy consumption by 85% to 3153% and 86% to 3052%, respectively, by
perturbing just one character or token in the input sentence. Our case study
shows that inputs generated by NMTSloth significantly affect the battery power
in real-world mobile devices (i.e., drain more than 30 times battery power than
normal inputs).
- Abstract(参考訳): ニューラル機械翻訳(NMT)システムは人間レベルの精度のために近年注目を集めている。
既存の研究は主に精度向上や正確性検証に重点を置いているが、多くの翻訳要求やリアルタイム要求によって最も重要なnmtシステムの計算効率は驚くほど注目されていない。
本稿では,最先端NMTシステムにおける計算効率の堅牢性を理解し,検証するための最初の試みを行う。
1455の公開アクセス可能なNMTシステムの動作機構と実装を解析することにより,計算効率を著しく低減するために,逆向きに操作できるNMTシステムの基本特性を観察する。
我々の主要な動機は、設定済みのしきい値を満たすのに十分なイテレーションを経なければならないように、EOSの生成を十分に遅らせるテストインプットを生成することです。
NMTSlothは,文字レベル,トークンレベル,構造レベルでの最小かつ無意味な摂動を探索し,EOSの出現を十分に遅らせ,これらの入力を自然な到達しきい値に達するように強制する勾配誘導技術を開発した。
NMTSlothの有効性を示すため,Google T5,AllenAI WMT14,Helsinki-NLPトランスレータの3つの公開NMTシステムに対して,系統的な評価を行った。
実験の結果,NMTSlothは入力文中の1文字またはトークンだけを摂動することにより,NMTシステムの応答遅延とエネルギー消費を85%から3153%,86%から3052%増加させることができることがわかった。
ケーススタディでは,NMTSlothが生成した入力が実世界のモバイルデバイスのバッテリ電力(通常の入力の30倍以上のバッテリ電力を消費する)に大きく影響していることが示されている。
関連論文リスト
- Improving Machine Translation with Large Language Models: A Preliminary
Study with Cooperative Decoding [78.66926087162672]
まず,MT 指向 LLM と MT 指向 LLM の長所と短所を総合的に解析し,その長所と短所について検討する。
これらの知見に基づいて,NMT システムを事前翻訳モデルとして,MT 指向 LLM を補足解として扱う Cooperative Decoding (CoDec) を提案する。
WMT22テストセットと新たに収集されたテストセットWebCrawlの結果は、CoDecの有効性と効率を実証している。
論文 参考訳(メタデータ) (2023-11-06T03:41:57Z) - Prompting Neural Machine Translation with Translation Memories [32.5633128085849]
ニューラルネットワーク翻訳(NMT)システムにTMを導入する方法を提案する。
具体的には、テスト時にNMTモデルのプロンプトとしてTMを扱いますが、トレーニングプロセスはそのままです。
その結果、既存のNMTシステムのわずかに更新され、NMTに詳しい人なら誰でも数時間で実装できるようになりました。
論文 参考訳(メタデータ) (2023-01-13T03:33:26Z) - Active Learning for Neural Machine Translation [0.0]
NMTツールキットのJoey NMTにActive Learningと呼ばれるテクニックを組み込んで、低リソース言語翻訳の十分な精度と堅牢な予測を行った。
この研究は、トランスフォーマーベースのNMTシステム、ベースラインモデル(BM)、フルトレーニングモデル(FTM)、アクティブラーニング最小信頼ベースモデル(ALLCM)、アクティブラーニングマージンサンプリングベースモデル(ALMSM)を用いて、英語をヒンディー語に翻訳する。
論文 参考訳(メタデータ) (2022-12-30T17:04:01Z) - HilMeMe: A Human-in-the-Loop Machine Translation Evaluation Metric
Looking into Multi-Word Expressions [6.85316573653194]
言語的に動機づけたHuman-in-the-loop評価尺度の設計と実装について,慣用的および用語的マルチワード表現(MWEs)について述べる。
MWEは、MWEを正確で意味のある等価な方法で認識・翻訳する能力を調べることで、異なるMTシステムを区別する主要な要因の1つである。
論文 参考訳(メタデータ) (2022-11-09T21:15:40Z) - Signal Detection in MIMO Systems with Hardware Imperfections: Message
Passing on Neural Networks [101.59367762974371]
本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。
パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。
我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
論文 参考訳(メタデータ) (2022-10-08T04:32:58Z) - Nearest Neighbor Knowledge Distillation for Neural Machine Translation [50.0624778757462]
k-nearest-neighbor machine translation (NN-MT) は機械翻訳タスクにおける最先端の結果の多くを達成している。
NN-KDはベースNMTモデルをトレーニングし、NNの知識を直接学習する。
論文 参考訳(メタデータ) (2022-05-01T14:30:49Z) - As Easy as 1, 2, 3: Behavioural Testing of NMT Systems for Numerical
Translation [51.20569527047729]
誤訳された数字は、金銭的損失や医療的誤報などの深刻な影響を引き起こす可能性がある。
本研究では,ニューラルネットワーク翻訳システムの動作テストによる数値テキストへの堅牢性に関する総合的な評価法を開発した。
論文 参考訳(メタデータ) (2021-07-18T04:09:47Z) - Dynamic Multi-Branch Layers for On-Device Neural Machine Translation [53.637479651600586]
動的マルチブランチ層を用いたオンデバイスニューラルマシン翻訳(NMT)システムの性能向上を提案する。
具体的には、トレーニングと推論中に1つの分岐のみを活性化した層方向動的マルチブランチネットワークを設計する。
ほぼ同じ計算コストで、WMT14英語-ドイツ語翻訳タスクでは最大1.7 BLEUポイント、WMT20中国語-英語翻訳タスクでは1.8 BLEUポイントの改善を実現します。
論文 参考訳(メタデータ) (2021-05-14T07:32:53Z) - FSpiNN: An Optimization Framework for Memory- and Energy-Efficient
Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。
しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。
トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
論文 参考訳(メタデータ) (2020-07-17T09:40:26Z) - Understanding Learning Dynamics for Neural Machine Translation [53.23463279153577]
ロス・チェンジ・アロケーション (LCA)citeplan 2019-loss-change-allocation を用いてNMTの学習力学を理解することを提案する。
LCAは更新毎にデータセット全体の勾配を計算する必要があるため、NMTシナリオで実際に実施するための近似を提示する。
シミュレーション実験により, 近似計算は効率的であり, 実験により一貫した結果が得られることを示した。
論文 参考訳(メタデータ) (2020-04-05T13:32:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。