論文の概要: In-context Learning as Maintaining Coherency: A Study of On-the-fly
Machine Translation Using Large Language Models
- arxiv url: http://arxiv.org/abs/2305.03573v1
- Date: Fri, 5 May 2023 14:30:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-08 13:31:14.439803
- Title: In-context Learning as Maintaining Coherency: A Study of On-the-fly
Machine Translation Using Large Language Models
- Title（参考訳）: 一貫性を維持したインコンテキスト学習:大規模言語モデルを用いたオンザフライ機械翻訳の検討
- Authors: Suzanna Sia, Kevin Duh
- Abstract要約: コンテキスト内学習をコンテキストとの整合性を維持するために望ましい生成タスクとして提示する。
まず、4つのドメインにまたがってランダムにサンプリングされたプロンプトを調査し、ドメイン内のプロンプトを表示すると翻訳性能が向上することを示した。
そこで本研究では,オンザフライ適応のためのインコンテキスト機械翻訳の有効性を実証する。
- 参考スコア（独自算出の注目度）: 15.309754694595322
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The phenomena of in-context learning has typically been thought of as
"learning from examples". In this work which focuses on Machine Translation, we
present a perspective of in-context learning as the desired generation task
maintaining coherency with its context, i.e., the prompt examples. We first
investigate randomly sampled prompts across 4 domains, and find that
translation performance improves when shown in-domain prompts. Next, we
investigate coherency for the in-domain setting, which uses prompt examples
from a moving window. We study this with respect to other factors that have
previously been identified in the literature such as length, surface similarity
and sentence embedding similarity. Our results across 3 models (GPTNeo2.7B,
Bloom3B, XGLM2.9B), and three translation directions
(\texttt{en}$\rightarrow$\{\texttt{pt, de, fr}\}) suggest that the long-term
coherency of the prompts and the test sentence is a good indicator of
downstream translation performance. In doing so, we demonstrate the efficacy of
In-context Machine Translation for on-the-fly adaptation.
- Abstract（参考訳）: 文脈内学習の現象は一般に「例から学ぶ」と考えられている。
本研究は,機械翻訳に焦点をあて,文脈との整合性を維持するために望ましい生成タスクとして,文脈内学習の視点を示す。
まず、4つのドメインにまたがるランダムサンプリングプロンプトを調査し、ドメイン内のプロンプトを表示すると翻訳性能が向上することを示した。
次に,移動ウィンドウからのプロンプト例を用いたドメイン内設定のコヒーレンシについて検討する。
本稿では,従来文献で確認されていた長さ,表面類似度,文章埋め込み類似度などの要因について検討する。
GPTNeo2.7B, Bloom3B, XGLM2.9B) と3つの翻訳方向 (\texttt{en}$\rightarrow$\{\texttt{pt, de, fr}\}) にまたがる結果から,プロンプトとテスト文の長期的一貫性が下流翻訳性能のよい指標であることが示唆された。
そこで本研究では,オンザフライ適応のためのインコンテキスト機械翻訳の有効性を示す。
関連論文リスト
- Predicting Word Similarity in Context with Referential Translation Machines [0.0]
タスクを機械翻訳性能予測(MTPP)としてキャストすることで、英語の2単語間の類似性を識別する。
我々は、トレーニングとテストセットの共通表現を可能にするレファレンシャル翻訳機械(RTM)を使用している。
RTMは、グレードドドワード類似性(GWSC)タスクの上位結果を達成することができる。
論文 参考訳（メタデータ） (2024-07-07T09:36:41Z) - Where does In-context Translation Happen in Large Language Models [18.379840329713407]
大規模言語モデルがテキスト学習者から翻訳モデルへ移行する地域を特徴付ける。
我々は、翻訳タスクが入力表現に符号化され、文脈への注意がもはや不要な「タスク認識」ポイントの証拠を実証する。
論文 参考訳（メタデータ） (2024-03-07T14:12:41Z) - Vocabulary-Defined Semantics: Latent Space Clustering for Improving In-Context Learning [32.178931149612644]
コンテキスト内学習により、言語モデルは下流のデータに適応したり、プロンプト内のデモとして少数のサンプルでタスクを組み込むことができる。
しかし、文脈内学習のパフォーマンスは、実演の質、形式、順序によって不安定である可能性がある。
語彙定義意味論(vocabulary-defined semantics)を提案する。
論文 参考訳（メタデータ） (2024-01-29T14:29:48Z) - In-Context Probing: Toward Building Robust Classifiers via Probing Large
Language Models [5.5089506884366735]
本稿では, In-Context Probing (ICP) という代替手法を提案する。
インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。
我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
論文 参考訳（メタデータ） (2023-05-23T15:43:04Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - Prompting Large Language Model for Machine Translation: A Case Study [87.88120385000666]
我々は機械翻訳戦略の推進に関する体系的研究を行っている。
本稿では,プロンプトテンプレートと実演例選択の要因について検討する。
本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
論文 参考訳（メタデータ） (2023-01-17T18:32:06Z) - In-context Examples Selection for Machine Translation [101.50473468507697]
大規模生成モデルは、コンテキスト内学習を用いて、幅広い自然言語処理(NLP)タスクを実行するという印象的な能力を示している。
機械翻訳(MT)の場合、これらの例は、通常、開発データセットからランダムにサンプリングされ、評価セットと同じような分布を持つ。
テキスト内サンプルの翻訳品質とドメインが重要であり,1ショットノイズ非関連例が出力品質に破滅的な影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2022-12-05T17:25:15Z) - An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
In-context Learning の出現における事前学習分布の役割について検討した。
本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。
我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
論文 参考訳（メタデータ） (2021-11-03T09:12:33Z) - Measuring and Increasing Context Usage in Context-Aware Machine
Translation [64.5726087590283]
機械翻訳モデルによるコンテキストの使用を定量的にするために、新しいメトリクス、条件付き相互情報を導入します。
次に,コンテキスト認識モデルによってコンテキストの使用量を増やすために,コンテキスト認識ワードドロップアウトという,新しい簡易なトレーニング手法を導入する。
論文 参考訳（メタデータ） (2021-05-07T19:55:35Z) - CASE: Context-Aware Semantic Expansion [68.30244980290742]
本稿では,CASE(Context-Aware Semantic Expansion)と呼ばれる新しいタスクを定義し,検討する。
セマンティックな文脈でシード項が与えられた場合、その文脈に適した他の用語をシードとして提案することを目指している。
このタスクのアノテーションは,既存のコーパスから完全に自動で,大規模に抽出可能であることを示す。
論文 参考訳（メタデータ） (2019-12-31T06:38:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。