論文の概要: A baseline revisited: Pushing the limits of multi-segment models for
context-aware translation
- arxiv url: http://arxiv.org/abs/2210.10906v1
- Date: Wed, 19 Oct 2022 22:04:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 13:39:49.561454
- Title: A baseline revisited: Pushing the limits of multi-segment models for
context-aware translation
- Title(参考訳): ベースライン再訪:文脈認識翻訳におけるマルチセグメンテーションモデルの限界を押し上げる
- Authors: Suvodeep Majumde, Stanislas Lauly, Maria Nadejde, Marcello Federico,
Georgiana Dinu
- Abstract要約: 本稿では,マルチセグメントモデルを用いた文脈翻訳の課題に対処する。
モデル能力の増大がこのアプローチの限界をさらに押し上げていることを示す。
- 参考スコア(独自算出の注目度): 11.875915476440127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the task of contextual translation using multi-segment
models. Specifically we show that increasing model capacity further pushes the
limits of this approach and that deeper models are more suited to capture
context dependencies. Furthermore, improvements observed with larger models can
be transferred to smaller models using knowledge distillation. Our experiments
show that this approach achieves competitive performance across several
languages and benchmarks, without additional language-specific tuning and task
specific architectures.
- Abstract(参考訳): 本稿では,マルチセグメントモデルを用いた文脈翻訳の課題に対処する。
具体的には、モデル容量の増加がこのアプローチの限界をさらに押し上げ、より深いモデルがコンテキスト依存をキャプチャするのにより適していることを示す。
さらに、より大きなモデルで観察される改善は、知識蒸留を用いてより小さなモデルに移すことができる。
提案手法は,言語固有のチューニングやタスク固有のアーキテクチャを必要とせずに,複数の言語やベンチマーク間での競合性能を実現する。
関連論文リスト
- On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based
Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。
高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文 参考訳(メタデータ) (2023-11-14T00:43:33Z) - Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。
大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
論文 参考訳(メタデータ) (2023-10-23T03:48:24Z) - RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder
Language Models [60.53467388496444]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。
我々は、RAVENがATLASを著しく上回り、特定のシナリオにおいて最も先進的な言語モデルに匹敵する結果が得られることを示した。
論文 参考訳(メタデータ) (2023-08-15T17:59:18Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained
Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。
我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文 参考訳(メタデータ) (2022-10-13T15:47:09Z) - Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。
これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文 参考訳(メタデータ) (2021-06-16T18:13:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。