論文の概要: xCOMET-lite: Bridging the Gap Between Efficiency and Quality in Learned MT Evaluation Metrics

• arxiv url: http://arxiv.org/abs/2406.14553v2
• Date: Fri, 08 Nov 2024 15:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:52:33.538701
• Title: xCOMET-lite: Bridging the Gap Between Efficiency and Quality in Learned MT Evaluation Metrics
• Title（参考訳）: xCOMET-lite:学習したMT評価指標の効率と品質のギャップを埋める
• Authors: Daniil Larionov, Mikhail Seleznyov, Vasiliy Viskov, Alexander Panchenko, Steffen Eger,
• Abstract要約: xCOMETのような最先端の機械翻訳評価指標は、人間の判断と高い相関性を得るが、大きなエンコーダに依存している。 我々は, 蒸留, 定量化, プルーニング技術を用いて, 効率的なxCOMET代替品を作成する。 量子化により,xCOMETは3倍の圧縮が可能であり,品質劣化は生じない。
• 参考スコア（独自算出の注目度）: 69.14652127492438
• License:
• Abstract: State-of-the-art trainable machine translation evaluation metrics like xCOMET achieve high correlation with human judgment but rely on large encoders (up to 10.7B parameters), making them computationally expensive and inaccessible to researchers with limited resources. To address this issue, we investigate whether the knowledge stored in these large encoders can be compressed while maintaining quality. We employ distillation, quantization, and pruning techniques to create efficient xCOMET alternatives and introduce a novel data collection pipeline for efficient black-box distillation. Our experiments show that, using quantization, xCOMET can be compressed up to three times with no quality degradation. Additionally, through distillation, we create an 278M-sized xCOMET-lite metric, which has only 2.6% of xCOMET-XXL parameters, but retains 92.1% of its quality. Besides, it surpasses strong small-scale metrics like COMET-22 and BLEURT-20 on the WMT22 metrics challenge dataset by 6.4%, despite using 50% fewer parameters. All code, dataset, and models are available online at https://github.com/NL2G/xCOMET-lite.
• Abstract（参考訳）: xCOMETのような最先端のトレーニング可能な機械翻訳評価指標は、人間の判断と高い相関性を持つが、大きなエンコーダ(最大10.7Bパラメータ)に依存しており、計算コストが高く、限られたリソースを持つ研究者にはアクセスできない。 この問題に対処するために,これらの大きなエンコーダに格納されている知識を,品質を維持しつつ圧縮できるかどうかを検討する。 我々は, 蒸留, 定量化, プルーニング技術を用いて, 効率的なxCOMET代替品を作成し, ブラックボックス蒸留のための新しいデータ収集パイプラインを導入する。 量子化により,xCOMETは3倍の圧縮が可能であり,品質劣化は生じない。 さらに、蒸留により、xCOMET-XXLパラメータの2.6%しか持たない278MサイズのxCOMET-liteメートル法を作成するが、品質は92.1%を維持している。 さらに、パラメータが50%少ないにもかかわらず、WMT22メトリクスのデータセットに挑戦するCOMET-22やBLEURT-20のような強力な小規模メトリクスを6.4%上回る。 すべてのコード、データセット、モデルはhttps://github.com/NL2G/xCOMET-lite.comで公開されている。

関連論文リスト

• MetricX-24: The Google Submission to the WMT 2024 Metrics Shared Task [21.490930342296256]
  We present the MetricX-24 submits to the WMT24 Metrics Shared Task。 私たちの主な提案は、ハイブリッド参照ベース/フリーメトリックです。 WMT23 MQM 評価では MetricX-23 よりも大幅に性能が向上した。
  論文  参考訳（メタデータ） (2024-10-04T23:52:28Z)
• Optimising MFCC parameters for the automatic detection of respiratory diseases [0.0]
  MFCC(Mel Frequency Cepstral Coefficients)は自動解析に広く用いられている。 MFCC抽出パラメータが呼吸器疾患の診断に与える影響について総合的な研究は行われていない。 本研究では,鍵パラメータ,すなわち,フレーム間の係数数,フレーム長,ホップ長が呼吸条件に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2024-08-14T12:56:17Z)
• TernaryLLM: Ternarized Large Language Model [29.29122031050894]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて顕著なパフォーマンスを達成した。 本稿では、Dual Learnable Ternarization (DLT)を導入し、スケールとシフトの両方を学習可能にする。 また、極低ビット量子化で失われた情報を復元するために、OFF(Outlier-Friendly Feature Knowledge Distillation)を提案する。
  論文  参考訳（メタデータ） (2024-06-11T11:40:12Z)
• Elucidating the Design Space of Dataset Condensation [23.545641118984115]
  データ中心学習の概念であるデータセット凝縮は、オリジナルのデータセットから合成バージョンに重要な属性を効率的に転送する。 本稿では,ソフトカテゴリ対応マッチングの実装のような,具体的な効果的な戦略を含む包括的な設計フレームワークを提案する。 我々のテストでは、ECCは最先端の精度を達成し、圧縮比0.78%に相当するResNet-18モデルでImageNet-1kで48.6%に達した。
  論文  参考訳（メタデータ） (2024-04-21T18:19:27Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• Merging Experts into One: Improving Computational Efficiency of Mixture of Experts [71.44422347502409]
  スパースミキチャー・オブ・エキスパート(MoE)は、パラメータの小さなサブセットをアクティベートすることでコストを削減することができる。 計算コストを大幅に高めることなく、より多くの専門家を追加するという利点を維持できるだろうか? そこで我々は,textbftexttMerging Experts into One (MEO) という計算効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T13:28:42Z)
• Q-DETR: An Efficient Low-Bit Quantized Detection Transformer [50.00784028552792]
  Q-DETRのボトルネックは、我々の経験的分析によるクエリ情報の歪みから生じる。 情報ボトルネック(IB)の原理をQ-DETRの学習に一般化することで導出できる2レベル最適化問題としてDRDを定式化する。 本研究では,教師情報を蒸留所要の機能に効果的に転送し,条件情報エントロピーを最小化する,フォアグラウンド対応クエリマッチング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:05:14Z)
• EffEval: A Comprehensive Evaluation of Efficiency for MT Evaluation Metrics [21.72262031588122]
  MT評価指標の総合評価を行う。 3つのMTデータセットで6つの基準フリーおよび基準ベースメトリクスを評価し,16個の軽量トランスフォーマーについて検討した。
  論文  参考訳（メタデータ） (2022-09-20T10:12:07Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。