論文の概要: Samsung R&D Institute Philippines at WMT 2023
- arxiv url: http://arxiv.org/abs/2310.16322v1
- Date: Wed, 25 Oct 2023 03:10:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 17:08:51.647405
- Title: Samsung R&D Institute Philippines at WMT 2023
- Title(参考訳): Samsung R&D Institute Philippines at WMT 2023
- Authors: Jan Christian Blaise Cruz
- Abstract要約: 本稿では,Samsung R&D Institute Philippines が WMT 2023 General Translation Task に提出した制約MTシステムについて述べる。
我々のシステムはTransformerベースのシーケンス・ツー・シーケンス・モデルで構成されており、これらはベストプラクティスの混合で訓練されている。
- 参考スコア(独自算出の注目度): 0.6275792799021923
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we describe the constrained MT systems submitted by Samsung
R&D Institute Philippines to the WMT 2023 General Translation Task for two
directions: en$\rightarrow$he and he$\rightarrow$en. Our systems comprise of
Transformer-based sequence-to-sequence models that are trained with a mix of
best practices: comprehensive data preprocessing pipelines, synthetic
backtranslated data, and the use of noisy channel reranking during online
decoding. Our models perform comparably to, and sometimes outperform, strong
baseline unconstrained systems such as mBART50 M2M and NLLB 200 MoE despite
having significantly fewer parameters on two public benchmarks: FLORES-200 and
NTREX-128.
- Abstract(参考訳): 本稿では,Samsung R&D Institute Philippines が WMT 2023 General Translation Task に提出した制約付きMTシステムについて述べる: en$\rightarrow$he と he$\rightarrow$en である。
我々のシステムはTransformerベースのシーケンス・ツー・シーケンス・モデルで構成されており、包括的データ前処理パイプライン、合成逆変換データ、オンラインデコード中のノイズチャネルの再評価など、様々なベストプラクティスで訓練されている。
mbart50 m2m や nllb 200 moe など,2つのベンチマークではパラメータがかなり少ないが,強固なベースライン制約のないシステムである flores-200 と ntrex-128 に比較して比較可能である。
関連論文リスト
- HW-TSC's Submission to the CCMT 2024 Machine Translation Tasks [12.841065384808733]
我々はバイリンガル機械翻訳タスクとマルチドメイン機械翻訳タスクに参加する。
これら2つの翻訳タスクでは,正規化ドロップアウト,双方向トレーニング,データ多様化,前方翻訳,後方翻訳,交互学習,カリキュラム学習,トランスダクティブアンサンブル学習などの学習戦略を用いる。
論文 参考訳(メタデータ) (2024-09-23T09:20:19Z) - CMU's IWSLT 2024 Simultaneous Speech Translation System [80.15755988907506]
本稿では,CMU による IWSLT 2024 Simultaneous Speech Translation (SST) タスクへの提案について述べる。
本システムでは,WavLM音声エンコーダ,モダリティアダプタ,Llama2-7B-Baseモデルをデコーダとして統合する。
論文 参考訳(メタデータ) (2024-08-14T10:44:51Z) - Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation [50.00235162432848]
我々は22Kパラレル文と12Mパラメータしか持たないALMAモデルを訓練する。
ALMA-Rと呼ばれる結果のモデルは、WMTコンテストの勝者とGPT-4のパフォーマンスと一致または上回ることができる。
論文 参考訳(メタデータ) (2024-01-16T15:04:51Z) - Efficient GPT Model Pre-training using Tensor Train Matrix
Representation [65.96485282393361]
大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。
GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。
GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
論文 参考訳(メタデータ) (2023-06-05T08:38:25Z) - RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。
我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文 参考訳(メタデータ) (2022-04-28T08:49:40Z) - DeepNet: Scaling Transformers to 1,000 Layers [106.33669415337135]
トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。
詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。
トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
論文 参考訳(メタデータ) (2022-03-01T15:36:38Z) - Data Processing Matters: SRPH-Konvergen AI's Machine Translation System
for WMT'21 [0.0]
We describe the submit of the joint Samsung Research Philippines-Konvergen AI team for the WMT'21 Large Scale Multilingual Translation Task - Small Track 2。
我々は、共有タスクに標準のSeq2Seq Transformerモデルを提出し、主にパフォーマンス向上のためのデータ前処理技術の強みに依存します。
私たちのモデルはインドネシアで最初にJavaneseにランク付けし、エッジモデルアーキテクチャやトレーニングテクニックよりもデータの事前処理が重要であることを示しています。
論文 参考訳(メタデータ) (2021-11-20T03:56:37Z) - The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。
私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。
翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文 参考訳(メタデータ) (2021-07-24T09:53:34Z) - Jointly Trained Transformers models for Spoken Language Translation [2.3886615435250302]
この研究は、補助的な損失としてASR目標を持つSLTシステムを訓練し、両方のネットワークは神経隠れ表現を介して接続される。
このアーキテクチャはBLEUから36.8から44.5に改善されている。
すべての実験はハウ2コーパスを用いた英語・ポルトガル語音声翻訳タスクで報告される。
論文 参考訳(メタデータ) (2020-04-25T11:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。