論文の概要: EffEval: A Comprehensive Evaluation of Efficiency for MT Evaluation
Metrics
- arxiv url: http://arxiv.org/abs/2209.09593v2
- Date: Tue, 31 Oct 2023 15:27:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 04:46:54.934432
- Title: EffEval: A Comprehensive Evaluation of Efficiency for MT Evaluation
Metrics
- Title(参考訳): effeval:mt評価指標の効率性に関する包括的評価
- Authors: Daniil Larionov, Jens Gr\"unwald, Christoph Leiter, Steffen Eger
- Abstract要約: MT評価指標の総合評価を行う。
3つのMTデータセットで6つの基準フリーおよび基準ベースメトリクスを評価し,16個の軽量トランスフォーマーについて検討した。
- 参考スコア(独自算出の注目度): 21.72262031588122
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficiency is a key property to foster inclusiveness and reduce environmental
costs, especially in an era of LLMs. In this work, we provide a comprehensive
evaluation of efficiency for MT evaluation metrics. Our approach involves
replacing computation-intensive transformers with lighter alternatives and
employing linear and quadratic approximations for alignment algorithms on top
of LLM representations. We evaluate six (reference-free and reference-based)
metrics across three MT datasets and examine 16 lightweight transformers. In
addition, we look into the training efficiency of metrics like COMET by
utilizing adapters. Our results indicate that (a) TinyBERT provides the optimal
balance between quality and efficiency, (b) CPU speed-ups are more substantial
than those on GPU; (c) WMD approximations yield no efficiency gains while
reducing quality and (d) adapters enhance training efficiency (regarding
backward pass speed and memory requirements) as well as, in some cases, metric
quality. These findings can help to strike a balance between evaluation speed
and quality, which is essential for effective NLG systems. Furthermore, our
research contributes to the ongoing efforts to optimize NLG evaluation metrics
with minimal impact on performance. To our knowledge, ours is the most
comprehensive analysis of different aspects of efficiency for MT metrics
conducted so far.
- Abstract(参考訳): 効率性は、特にLLMの時代において、包摂性を高め、環境コストを削減するための重要な特性である。
本稿では,mt評価指標の効率を総合的に評価する。
提案手法では,計算集約型変換器を軽量な代替品に置き換え,LLM表現上のアライメントアルゴリズムに線形および二次近似を適用する。
3つのmtデータセットにまたがる6つの(参照フリーおよび参照ベース)メトリクスを評価し、16の軽量トランスフォーマーを調査した。
さらに,アダプタを利用したCOMETなどのメトリクスのトレーニング効率についても検討する。
私たちの結果は
(a)TinyBERTは品質と効率の最適なバランスを提供する。
(b)CPUのスピードアップはGPUのスピードアップよりも相当である。
(c)WMD近似は、品質と品質を低下させながら効率を向上しない
(d)アダプタはトレーニング効率(後方通過速度とメモリ要件を考慮)を高め、場合によってはメートル法品質も向上する。
これらの知見は,NLGシステムに不可欠な評価速度と品質のバランスをとる上で有効である。
さらに,本研究は,NLG評価指標の最適化がパフォーマンスに与える影響を最小限に抑えることに貢献している。
我々の知る限りでは、これまでのMTメトリクスの効率のさまざまな側面を網羅的に分析している。
関連論文リスト
- Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。
The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。
実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
論文 参考訳(メタデータ) (2024-03-22T14:20:34Z) - Lower-Left Partial AUC: An Effective and Efficient Optimization Metric
for Recommendation [52.45394284415614]
我々は,AUCのように計算効率が良く,Top-Kランキングの指標と強く相関する新しい最適化指標であるLLPAUCを提案する。
LLPAUCはローワーレフト角のROC曲線の下の部分領域のみを考慮し、最適化はトップKに焦点をあてる。
論文 参考訳(メタデータ) (2024-02-29T13:58:33Z) - APT: Adaptive Pruning and Tuning Pretrained Language Models for
Efficient Training and Inference [71.39286164015104]
大規模言語モデル(LM)による微調整と推論は一般的に高価であることが知られている。
LMのパラメータを適応的にプーンし調整するAPTを導入する。
APTは、LMの微調整を最大8倍高速化し、LMのメモリトレーニングのフットプリントを最大70%削減する。
論文 参考訳(メタデータ) (2024-01-22T18:39:40Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - Which Transformer to Favor: A Comparative Analysis of Efficiency in Vision Transformers [5.962388655393375]
画像分類、精度、速度、メモリ使用量を評価するために、30以上のモデルをベンチマークする。
我々は,ハイブリッドアテンション-CNNモデルにおいて,メモリとパラメータの効率が著しく向上することが観察された。
我々のベンチマークは、高解像度画像よりも、一般により大きなモデルを使用することの方が効率的であることを示している。
論文 参考訳(メタデータ) (2023-08-18T08:06:49Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳(メタデータ) (2021-06-17T00:01:18Z) - MetricOpt: Learning to Optimize Black-Box Evaluation Metrics [21.608384691401238]
誤分類率やリコールなどのタスク評価指標を任意に最適化する問題について検討する。
MetricOptと呼ばれる私たちの方法は、ターゲットメトリックの計算詳細が不明なブラックボックス設定で動作します。
我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
論文 参考訳(メタデータ) (2021-04-21T16:50:01Z) - SQE: a Self Quality Evaluation Metric for Parameters Optimization in
Multi-Object Tracking [25.723436561224297]
本稿では,パラメータ最適化のための新しい自己品質評価指標SQEを提案する。
対照的に、我々の計量は軌道仮説の内部特性を反映し、真理を示さずに性能を追跡する。
論文 参考訳(メタデータ) (2020-04-16T06:07:29Z) - SASL: Saliency-Adaptive Sparsity Learning for Neural Network
Acceleration [20.92912642901645]
そこで本稿では、さらなる最適化のために、SASL(Saliency-Adaptive Sparsity Learning)アプローチを提案する。
ResNet-50 の 49.7% の FLOP を 0.39% のトップ-1 と 0.05% のトップ-5 の精度で削減できる。
論文 参考訳(メタデータ) (2020-03-12T16:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。