論文の概要: In-context Examples Selection for Machine Translation
- arxiv url: http://arxiv.org/abs/2212.02437v1
- Date: Mon, 5 Dec 2022 17:25:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 16:48:28.419283
- Title: In-context Examples Selection for Machine Translation
- Title（参考訳）: 機械翻訳のための文脈内事例選択
- Authors: Sweta Agrawal, Chunting Zhou, Mike Lewis, Luke Zettlemoyer, Marjan
Ghazvininejad
- Abstract要約: 大規模生成モデルは、コンテキスト内学習を用いて、幅広い自然言語処理(NLP)タスクを実行するという印象的な能力を示している。
機械翻訳(MT)の場合、これらの例は、通常、開発データセットからランダムにサンプリングされ、評価セットと同じような分布を持つ。
テキスト内サンプルの翻訳品質とドメインが重要であり,1ショットノイズ非関連例が出力品質に破滅的な影響を及ぼす可能性が示唆された。
- 参考スコア（独自算出の注目度）: 101.50473468507697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale generative models show an impressive ability to perform a wide
range of Natural Language Processing (NLP) tasks using in-context learning,
where a few examples are used to describe a task to the model. For Machine
Translation (MT), these examples are typically randomly sampled from the
development dataset with a similar distribution as the evaluation set. However,
it is unclear how the choice of these in-context examples and their ordering
impacts the output translation quality. In this work, we aim to understand the
properties of good in-context examples for MT in both in-domain and
out-of-domain settings. We show that the translation quality and the domain of
the in-context examples matter and that 1-shot noisy unrelated example can have
a catastrophic impact on output quality. While concatenating multiple random
examples reduces the effect of noise, a single good prompt optimized to
maximize translation quality on the development dataset can elicit learned
information from the pre-trained language model. Adding similar examples based
on an n-gram overlap with the test source significantly and consistently
improves the translation quality of the outputs, outperforming a strong kNN-MT
baseline in 2 out of 4 out-of-domain datasets.
- Abstract（参考訳）: 大規模生成モデルは、モデルへのタスクの記述にいくつかの例を使用して、コンテキスト内学習を使用して、幅広い自然言語処理(nlp)タスクを実行する素晴らしい能力を示しています。
機械翻訳(mt)の場合、これらの例は通常、評価セットと同様の分布を持つ開発データセットからランダムにサンプリングされる。
しかし、これらの文脈内例の選択とその順序が出力翻訳品質に与える影響は明らかでない。
本研究では,ドメイン内およびドメイン外設定の両方において,MTの適切なコンテキスト内例の特性を理解することを目的とする。
テキスト内サンプルの翻訳品質とドメインが重要であり,1ショットノイズ非関連例が出力品質に破滅的な影響を及ぼすことを示す。
複数のランダムな例を結合することでノイズの影響は低減されるが、開発データセットの翻訳品質を最大化するために最適化された単一の優れたプロンプトは、事前学習された言語モデルから学習情報を導き出すことができる。
テストソースとn-gramのオーバーラップに基づく同様の例を追加することで、出力の翻訳品質が大幅に向上し、ドメイン外データセット4つのうち2つで強力なkn-mtベースラインを上回っている。
関連論文リスト
- Effective Self-Mining of In-Context Examples for Unsupervised Machine Translation with LLMs [16.98133269527045]
機械翻訳(MT)における文脈内例の教師なし手法を提案する。
教師なし並列文のプールから最適なテキスト内例を選択するためのフィルタリング基準を導入する。
本研究は,MTの文脈内マイニングにおける教師なしアプローチの有効性を実証するものである。
論文 参考訳（メタデータ） (2024-10-14T18:47:04Z) - Context-Aware Machine Translation with Source Coreference Explanation [26.336947440529713]
本稿では,入力中のコア参照の特徴を予測し,翻訳のための意思決定を説明するモデルを提案する。
我々は、WMT文書レベルの翻訳タスクにおいて、英語-ドイツ語データセット、英語-ロシア語データセット、多言語TEDトークデータセットの評価を行った。
論文 参考訳（メタデータ） (2024-04-30T12:41:00Z) - CTQScorer: Combining Multiple Features for In-context Example Selection
for Machine Translation [22.700587969696933]
我々は、翻訳品質を最大化するために、複数の特徴に基づいてサンプルを選択する回帰モデルCTQ Scorerを学習する。
複数の言語ペアと言語モデルにおいて、CTQ Scorerがランダム選択を著しく上回ることを示す。
また,強力なBM25検索ベースラインに対して,平均2.5 COMET点以上の改善が見られた。
論文 参考訳（メタデータ） (2023-05-23T14:26:17Z) - Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。
我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。
OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
論文 参考訳（メタデータ） (2023-05-04T12:21:52Z) - Finding Support Examples for In-Context Learning [73.90376920653507]
本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。
まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。
そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
論文 参考訳（メタデータ） (2023-02-27T06:32:45Z) - Analyzing the Use of Influence Functions for Instance-Specific Data
Filtering in Neural Machine Translation [2.990760778216954]
影響関数 (IF) は, 分類作業に関係のある訓練例を見つけるのに有効であることが示されている。
美術効果関数の状態に対する2つの効果的な拡張を提案し、模擬学習例のサブプロブレムを実証する。
論文 参考訳（メタデータ） (2022-10-24T14:22:20Z) - Domain-Specific Text Generation for Machine Translation [7.803471587734353]
ドメイン固有データ拡張のための最先端事前学習言語モデル(LM)を利用したドメイン適応手法を提案する。
我々は、ドメイン内テキストの翻訳を大幅に改善するモデルを訓練するために、混合微調整を用いています。
論文 参考訳（メタデータ） (2022-08-11T16:22:16Z) - Learning to Generalize to More: Continuous Semantic Augmentation for
Neural Machine Translation [50.54059385277964]
CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。
CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
論文 参考訳（メタデータ） (2022-04-14T08:16:28Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳（メタデータ） (2021-04-13T17:54:33Z) - Informative Sample Mining Network for Multi-Domain Image-to-Image
Translation [101.01649070998532]
本稿では,画像から画像への翻訳作業において,サンプル選択戦略の改善が有効であることを示す。
本稿では,サンプルの硬さを抑えつつ,サンプルの硬さを抑えるための新しい多段階サンプルトレーニング手法を提案する。
論文 参考訳（メタデータ） (2020-01-05T05:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。