論文の概要: On Evaluating Multilingual Compositional Generalization with Translated
Datasets
- arxiv url: http://arxiv.org/abs/2306.11420v1
- Date: Tue, 20 Jun 2023 10:03:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 14:53:15.907032
- Title: On Evaluating Multilingual Compositional Generalization with Translated
Datasets
- Title(参考訳): 翻訳データセットを用いた多言語構成一般化の評価について
- Authors: Zi Wang and Daniel Hershcovich
- Abstract要約: 構成一般化能力は言語によって異なることを示す。
我々は、MCWQデータセットを英語から中国語、日本語に忠実に翻訳する。
MCWQ-Rとよばれるロバストなベンチマークが得られたとしても、構成の分布は言語的な相違によって依然として苦しんでいることが示される。
- 参考スコア(独自算出の注目度): 34.51457321680049
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositional generalization allows efficient learning and human-like
inductive biases. Since most research investigating compositional
generalization in NLP is done on English, important questions remain
underexplored. Do the necessary compositional generalization abilities differ
across languages? Can models compositionally generalize cross-lingually? As a
first step to answering these questions, recent work used neural machine
translation to translate datasets for evaluating compositional generalization
in semantic parsing. However, we show that this entails critical semantic
distortion. To address this limitation, we craft a faithful rule-based
translation of the MCWQ dataset from English to Chinese and Japanese. Even with
the resulting robust benchmark, which we call MCWQ-R, we show that the
distribution of compositions still suffers due to linguistic divergences, and
that multilingual models still struggle with cross-lingual compositional
generalization. Our dataset and methodology will be useful resources for the
study of cross-lingual compositional generalization in other tasks.
- Abstract(参考訳): 構成一般化は効率的な学習と人間のような帰納バイアスを可能にする。
NLPの合成一般化に関するほとんどの研究は英語で行われているため、重要な疑問は未解決のままである。
必要な構成一般化能力は言語によって異なるか?
モデルの構成的一般化は可能か?
これらの質問に答える第一歩として、最近の研究では、セマンティック解析における合成一般化を評価するために、データセットの翻訳にニューラルネットワーク翻訳を用いた。
しかし,これは重要な意味的歪みを伴うことを示す。
この制限に対処するため、MCWQデータセットを英語から中国語、日本語に忠実に翻訳する。
MCWQ-Rと呼ばれるロバストなベンチマークが得られたとしても、構成の分布は言語的ばらつきによって依然として苦しめられ、多言語モデルも言語間合成の一般化に苦慮している。
我々のデータセットと方法論は、他のタスクにおける言語間合成の一般化の研究に有用である。
関連論文リスト
- On Using Distribution-Based Compositionality Assessment to Evaluate
Compositional Generalisation in Machine Translation [10.840893953881652]
実世界の自然言語タスクにおける合成一般化を評価するためのベンチマークを開発することが重要である。
これは、Europarl翻訳コーパスをトレーニングとテストセットに分割し、テストセットが構成的一般化能力を必要とするようにすることで行われる。
これは、自然言語合成性ベンチマークを作成するための、完全に自動化された手順である。
論文 参考訳(メタデータ) (2023-11-14T15:37:19Z) - How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。
構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。
我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
論文 参考訳(メタデータ) (2023-05-08T16:32:18Z) - Language Embeddings Sometimes Contain Typological Generalizations [0.0]
我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。
学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。
いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
論文 参考訳(メタデータ) (2023-01-19T15:09:59Z) - It's All in the Heads: Using Attention Heads as a Baseline for
Cross-Lingual Transfer in Commonsense Reasoning [4.200736775540874]
我々は,重みを重み付けした線形分類器を特徴として訓練するコモンセンス推論への簡単なアプローチを設計する。
本手法は,近年のコモンセンス推論における教師なし・教師なしの手法と競合する。
パフォーマンスの大部分は、すべての研究対象言語に対する注目の小さなサブセットによって与えられる。
論文 参考訳(メタデータ) (2021-06-22T21:25:43Z) - Improving Compositional Generalization in Classification Tasks via
Structure Annotations [33.90268697120572]
人間は構成を一般化する能力は大きいが、最先端のニューラルモデルはそれを行うのに苦労している。
まず、自然言語のシーケンス・ツー・シーケンス・データセットを、合成の一般化も必要とする分類データセットに変換する方法について検討する。
第二に、構造的ヒントを提供すること(特にトランスフォーマーモデルの注意マスクとしてパースツリーとエンティティリンクを提供すること)は、構成の一般化に役立つことを示す。
論文 参考訳(メタデータ) (2021-06-19T06:07:27Z) - Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual
Retrieval [51.60862829942932]
本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。
文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。
しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
論文 参考訳(メタデータ) (2021-01-21T00:15:38Z) - Compositional Generalization and Natural Language Variation: Can a
Semantic Parsing Approach Handle Both? [27.590858384414567]
私たちは、自然言語のバリエーションと合成の一般化の両方を扱う意味解析アプローチを開発できますか?
我々は、この能力をよりよく評価するために、非合成データセットの新しいトレインとテスト分割を提案する。
また、NQG-T5は、高精度文法に基づくアプローチと事前学習されたシーケンス・ツー・シーケンスモデルを組み合わせたハイブリッドモデルである。
論文 参考訳(メタデータ) (2020-10-24T00:38:27Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳(メタデータ) (2020-05-01T12:22:33Z) - On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。
その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。
本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
論文 参考訳(メタデータ) (2020-04-09T19:50:32Z) - A Benchmark for Systematic Generalization in Grounded Language
Understanding [61.432407738682635]
人間は慣れ親しんだ部分から成り立つ不慣れな状況を記述する表現を容易に解釈する。
対照的に、現代のニューラルネットワークは、新しい構成を理解するのに苦労している。
位置言語理解における合成一般化を評価するための新しいベンチマークであるgSCANを導入する。
論文 参考訳(メタデータ) (2020-03-11T08:40:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。