論文の概要: Dissecting In-Context Learning of Translations in GPTs

• arxiv url: http://arxiv.org/abs/2310.15987v1
• Date: Tue, 24 Oct 2023 16:37:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 17:38:02.468535
• Title: Dissecting In-Context Learning of Translations in GPTs
• Title（参考訳）: GPTにおける翻訳の文脈内学習
• Authors: Vikas Raunak and Hany Hassan Awadalla and Arul Menezes
• Abstract要約: ソース側の摂動は驚くほど影響を受けず、ターゲットの摂動は翻訳品質を大幅に低下させる可能性がある。 我々はZero-Shot-Contextという手法を提案し、Zero-Shotプロンプトに自動的にこの信号を追加する。 GPT-3のゼロショット翻訳性能は向上し,少数ショット翻訳と競合することを示した。
• 参考スコア（独自算出の注目度）: 27.80057758158391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most of the recent work in leveraging Large Language Models (LLMs) such as GPT-3 for Machine Translation (MT) has focused on selecting the few-shot samples for prompting. In this work, we try to better understand the role of demonstration attributes for the in-context learning of translations through perturbations of high-quality, in-domain demonstrations. We find that asymmetric perturbation of the source-target mappings yield vastly different results. We show that the perturbation of the source side has surprisingly little impact, while target perturbation can drastically reduce translation quality, suggesting that it is the output text distribution that provides the most important learning signal during in-context learning of translations. We propose a method named Zero-Shot-Context to add this signal automatically in Zero-Shot prompting. We demonstrate that it improves upon the zero-shot translation performance of GPT-3, even making it competitive with few-shot prompted translations.
• Abstract（参考訳）: GPT-3 for Machine Translation (MT)のようなLLM(Large Language Models)を活用した最近の研究のほとんどは、プロンプトのための数発のサンプルの選択に重点を置いている。 本研究では,高品質なドメイン内実演の摂動を通じて,翻訳の文脈内学習における実演属性の役割をより深く理解することを試みる。 ソース・ターゲットマッピングの非対称摂動は、非常に異なる結果をもたらす。 対象の摂動は翻訳品質を劇的に低下させる可能性があり、翻訳の文脈内学習において最も重要な学習信号を提供するのが出力テキスト分布であることが示唆された。 我々は、ゼロショットプロンプトでこの信号を自動的に付加するゼロショットコンテキストという手法を提案する。 我々は,gpt-3のゼロショット翻訳性能を向上し,少人数翻訳と競合することを実証した。

関連論文リスト

• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Narrowing the Gap between Zero- and Few-shot Machine Translation by Matching Styles [53.92189950211852]
  大規模言語モデルは、文脈内学習を用いたゼロショットと少数ショットの例を用いて、機械翻訳に一般化する能力を示した。 本稿では,このギャップに寄与する要因について検討し,対象コーパスの書字スタイルを一致させることで,このギャップをほとんど(約70%)閉鎖できることを示す。
  論文  参考訳（メタデータ） (2023-11-04T03:18:45Z)
• Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing [12.843274390224853]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクでかなりの成功を収めている。 ニューラルネットワーク翻訳における最先端性能は,まだ達成できていない。 直接翻訳者ではなく,自動編集者 (APE) としてLLMを適用することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:22:15Z)
• Towards a Better Understanding of Variations in Zero-Shot Neural Machine Translation Performance [5.373752180709172]
  ニューラルネットワーク翻訳(MNMT)は知識共有を容易にするが、ゼロショット(ZS)翻訳の質が悪い場合が多い。 本研究は,ZS性能に高い変動が存在するという,新たな視点を紹介する。 ZS NMTの性能の変動に寄与する3つの要因を同定した。
  論文  参考訳（メタデータ） (2023-10-16T13:26:05Z)
• Prompting Large Language Model for Machine Translation: A Case Study [87.88120385000666]
  我々は機械翻訳戦略の推進に関する体系的研究を行っている。 本稿では,プロンプトテンプレートと実演例選択の要因について検討する。 本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
  論文  参考訳（メタデータ） (2023-01-17T18:32:06Z)
• Understanding and Mitigating the Uncertainty in Zero-Shot Translation [92.25357943169601]
  ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。 そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための,軽量かつ補完的な2つのアプローチを提案する。 提案手法は,強いMNMTベースライン上でのゼロショット翻訳の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-05-20T10:29:46Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• Unsupervised Neural Machine Translation with Generative Language Models Only [19.74865387759671]
  生成事前学習言語モデルから、最先端の教師なしニューラルネットワーク翻訳システムを導出する方法を示す。 本手法は, 数発増幅, 蒸留, 逆翻訳の3段階からなる。
  論文  参考訳（メタデータ） (2021-10-11T17:35:34Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Improving Zero-Shot Translation by Disentangling Positional Information [24.02434897109097]
  言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。 指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
  論文  参考訳（メタデータ） (2020-12-30T12:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。