論文の概要: Evaluating Structural Generalization in Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2406.13363v1
• Date: Wed, 19 Jun 2024 09:09:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 20:22:37.775009
• Title: Evaluating Structural Generalization in Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳における構造一般化の評価
• Authors: Ryoma Kumon, Daiki Matsuoka, Hitomi Yanaka,
• Abstract要約: SGETは,単語や文構造を制御して,様々な種類の合成一般化を包含するデータセットである。 ニューラルネットワーク翻訳モデルは、語彙的一般化よりも構造的一般化に苦慮していることを示す。 また、セマンティック解析と機械翻訳において、様々なタスクにおける評価の重要性を示す様々なパフォーマンストレンドを見出した。
• 参考スコア（独自算出の注目度）: 13.880151307013318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositional generalization refers to the ability to generalize to novel combinations of previously observed words and syntactic structures. Since it is regarded as a desired property of neural models, recent work has assessed compositional generalization in machine translation as well as semantic parsing. However, previous evaluations with machine translation have focused mostly on lexical generalization (i.e., generalization to unseen combinations of known words). Thus, it remains unclear to what extent models can translate sentences that require structural generalization (i.e., generalization to different sorts of syntactic structures). To address this question, we construct SGET, a machine translation dataset covering various types of compositional generalization with control of words and sentence structures. We evaluate neural machine translation models on SGET and show that they struggle more in structural generalization than in lexical generalization. We also find different performance trends in semantic parsing and machine translation, which indicates the importance of evaluations across various tasks.
• Abstract（参考訳）: 構成的一般化は、以前に観察された単語と構文構造の新しい組み合わせに一般化する能力を指す。 ニューラルモデルの望ましい性質と見なされているため、最近の研究は機械翻訳と意味解析における合成一般化を評価している。 しかし、機械翻訳による以前の評価は、主に語彙的一般化(すなわち、未知の単語の組み合わせへの一般化)に焦点を当てていた。 したがって、モデルが構造的一般化を必要とする文(つまり、異なる種類の構文構造への一般化)をどの程度翻訳できるかは、まだ不明である。 この問題に対処するために,文構造と単語を制御した多種多様な合成一般化を含む機械翻訳データセットであるSGETを構築した。 我々は,SGET上でのニューラルネットワーク翻訳モデルを評価し,語彙的一般化よりも構造的一般化に苦慮していることを示す。 また、セマンティック解析と機械翻訳において、様々なタスクにおける評価の重要性を示す様々なパフォーマンストレンドを見出した。

関連論文リスト

• Learning Syntax Without Planting Trees: Understanding When and Why Transformers Generalize Hierarchically [74.96551626420188]
  自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。 本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-04-25T07:10:29Z)
• Position Paper: Generalized grammar rules and structure-based generalization beyond classical equivariance for lexical tasks and transduction [7.523978255716284]
  一般化文法規則(GGR)の概念を用いて構成的に一般化可能なモデル構築のための汎用フレームワークを提案する。 私たちのフレームワークは、多くの既存の作品を特別なケースとして含めるのに十分な一般性を持っています。 我々は、GGRの実装方法に関するアイデアを提示し、その過程で強化学習やその他の研究分野との関連性を引き出す。
  論文  参考訳（メタデータ） (2024-02-02T18:44:37Z)
• SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
  合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。 既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。 SLOGは,COGSを拡張したセマンティック解析データセットである。
  論文  参考訳（メタデータ） (2023-10-23T15:39:09Z)
• On Evaluating Multilingual Compositional Generalization with Translated Datasets [34.51457321680049]
  構成一般化能力は言語によって異なることを示す。 我々は、MCWQデータセットを英語から中国語、日本語に忠実に翻訳する。 MCWQ-Rとよばれるロバストなベンチマークが得られたとしても、構成の分布は言語的な相違によって依然として苦しんでいることが示される。
  論文  参考訳（メタデータ） (2023-06-20T10:03:57Z)
• How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
  本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。 構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。 我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
  論文  参考訳（メタデータ） (2023-05-08T16:32:18Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Improving Compositional Generalization in Classification Tasks via Structure Annotations [33.90268697120572]
  人間は構成を一般化する能力は大きいが、最先端のニューラルモデルはそれを行うのに苦労している。 まず、自然言語のシーケンス・ツー・シーケンス・データセットを、合成の一般化も必要とする分類データセットに変換する方法について検討する。 第二に、構造的ヒントを提供すること(特にトランスフォーマーモデルの注意マスクとしてパースツリーとエンティティリンクを提供すること)は、構成の一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2021-06-19T06:07:27Z)
• Detecting and Understanding Generalization Barriers for Neural Machine Translation [53.23463279153577]
  本稿では,未知の入力文内での一般化バリアワードの同定と理解を試みる。 本稿では,一般化バリアワードの原理的定義と,計算において抽出可能な修正版を提案する。 次に、Zh$Leftrightarrow$En NISTベンチマークで検出された一般化障壁ワードについて広範な解析を行う。
  論文  参考訳（メタデータ） (2020-04-05T12:33:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。