論文の概要: Understanding and Enhancing the Use of Context for Machine Translation
- arxiv url: http://arxiv.org/abs/2102.10437v1
- Date: Sat, 20 Feb 2021 20:19:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-23 15:04:55.570894
- Title: Understanding and Enhancing the Use of Context for Machine Translation
- Title（参考訳）: 機械翻訳におけるコンテキストの使用の理解と強化
- Authors: Marzieh Fadaee
- Abstract要約: この論文は、ニューラルモデルにおけるコンテキストの特定の可能性を理解し、それらから恩恵を受ける拡張モデルを設計することに焦点を当てている。
ソース言語からターゲット言語に翻訳するには、神経モデルは与えられたコンテキストにおける構成語の意味を理解する必要があります。
NLP分野を進めるためには、コンテキストの役割と学習モデルに対するデータの影響をより深く検討することが不可欠です。
- 参考スコア（独自算出の注目度）: 2.367786892039871
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To understand and infer meaning in language, neural models have to learn
complicated nuances. Discovering distinctive linguistic phenomena from data is
not an easy task. For instance, lexical ambiguity is a fundamental feature of
language which is challenging to learn. Even more prominently, inferring the
meaning of rare and unseen lexical units is difficult with neural networks.
Meaning is often determined from context. With context, languages allow meaning
to be conveyed even when the specific words used are not known by the reader.
To model this learning process, a system has to learn from a few instances in
context and be able to generalize well to unseen cases. The learning process is
hindered when training data is scarce for a task. Even with sufficient data,
learning patterns for the long tail of the lexical distribution is challenging.
In this thesis, we focus on understanding certain potentials of contexts in
neural models and design augmentation models to benefit from them. We focus on
machine translation as an important instance of the more general language
understanding problem. To translate from a source language to a target
language, a neural model has to understand the meaning of constituents in the
provided context and generate constituents with the same meanings in the target
language. This task accentuates the value of capturing nuances of language and
the necessity of generalization from few observations. The main problem we
study in this thesis is what neural machine translation models learn from data
and how we can devise more focused contexts to enhance this learning. Looking
more in-depth into the role of context and the impact of data on learning
models is essential to advance the NLP field. Moreover, it helps highlight the
vulnerabilities of current neural networks and provides insights into designing
more robust models.
- Abstract（参考訳）: 言語の意味を理解し推論するには、ニューラルネットワークは複雑なニュアンスを学ぶ必要がある。
データから独特の言語現象を発見するのは容易ではない。
例えば、語彙の曖昧さは、学習が難しい言語の基本的な特徴である。
さらに顕著に、まれで目に見えない語彙単位の意味を推測することは、ニューラルネットワークでは困難である。
意味はしばしば文脈から決定される。
文脈では、使用する特定の単語が読み手によって知られていない場合でも、言語は意味を伝えることができる。
この学習プロセスをモデル化するには、システムはコンテキストのいくつかのインスタンスから学習し、見当たらないケースにうまく一般化する必要がある。
トレーニングデータが不足している場合には、学習プロセスが妨げられる。
十分なデータであっても、語彙分布の長い尾の学習パターンは困難である。
本論文では,ニューラルモデルにおけるコンテキストの特定の可能性の理解と,それらから利益を得るための拡張モデルの設計に焦点をあてる。
我々は、より一般的な言語理解問題の重要な例として機械翻訳に焦点を当てている。
ソース言語からターゲット言語へ翻訳するには、与えられたコンテキストにおける構成要素の意味を理解し、ターゲット言語で同じ意味を持つ構成要素を生成する必要があります。
このタスクは、言語のニュアンスを捉える価値と、少数の観察から一般化の必要性を強調します。
この論文で私たちが研究する主な問題は、ニューラルネットワーク翻訳モデルがデータから何を学習するか、そしてこの学習を強化するためにより集中したコンテキストをいかに考案できるかである。
NLP分野を進めるためには、コンテキストの役割と学習モデルに対するデータの影響をより深く検討することが不可欠です。
さらに、現在のニューラルネットワークの脆弱性を強調し、より堅牢なモデルの設計に関する洞察を提供する。
関連論文リスト
- Visually Grounded Language Learning: a review of language games,
datasets, tasks, and models [60.2604624857992]
多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。
本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
論文 参考訳（メタデータ） (2023-12-05T02:17:29Z) - Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳（メタデータ） (2023-10-20T03:33:36Z) - Training language models for deeper understanding improves brain
alignment [5.678337324555035]
言語を深く理解するシステムの構築は、自然言語処理(NLP)の中心的な目標の1つである。
より深い物語理解のための学習言語モデルにより、より豊かな表現が可能となり、人間の脳活動との整合性が向上したことを示す。
論文 参考訳（メタデータ） (2022-12-21T10:15:19Z) - A Linguistic Investigation of Machine Learning based Contradiction
Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。
目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
論文 参考訳（メタデータ） (2022-10-19T10:06:03Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - The Reality of Multi-Lingual Machine Translation [3.183845608678763]
『多言語機械翻訳の現実』では、機械翻訳システムにおける2言語以上の使用の利点と危険性について論じている。
著者: ディープラーニングアプリケーションの主な例は機械翻訳です。
論文 参考訳（メタデータ） (2022-02-25T16:44:06Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - Syntax Representation in Word Embeddings and Neural Networks -- A Survey [4.391102490444539]
本稿では,単語表現に含まれる統語的情報量を評価するためのアプローチについて述べる。
主に、言語モデリングタスクにおける英語単言語データの再検討について要約する。
本稿では,どの事前学習モデルと言語表現が構文的タスクに最も適しているかを説明する。
論文 参考訳（メタデータ） (2020-10-02T15:44:58Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳（メタデータ） (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。