論文の概要: On Evaluating Multilingual Compositional Generalization with Translated Datasets

• arxiv url: http://arxiv.org/abs/2306.11420v1
• Date: Tue, 20 Jun 2023 10:03:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 14:53:15.907032
• Title: On Evaluating Multilingual Compositional Generalization with Translated Datasets
• Title（参考訳）: 翻訳データセットを用いた多言語構成一般化の評価について
• Authors: Zi Wang and Daniel Hershcovich
• Abstract要約: 構成一般化能力は言語によって異なることを示す。 我々は、MCWQデータセットを英語から中国語、日本語に忠実に翻訳する。 MCWQ-Rとよばれるロバストなベンチマークが得られたとしても、構成の分布は言語的な相違によって依然として苦しんでいることが示される。
• 参考スコア（独自算出の注目度）: 34.51457321680049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional generalization allows efficient learning and human-like inductive biases. Since most research investigating compositional generalization in NLP is done on English, important questions remain underexplored. Do the necessary compositional generalization abilities differ across languages? Can models compositionally generalize cross-lingually? As a first step to answering these questions, recent work used neural machine translation to translate datasets for evaluating compositional generalization in semantic parsing. However, we show that this entails critical semantic distortion. To address this limitation, we craft a faithful rule-based translation of the MCWQ dataset from English to Chinese and Japanese. Even with the resulting robust benchmark, which we call MCWQ-R, we show that the distribution of compositions still suffers due to linguistic divergences, and that multilingual models still struggle with cross-lingual compositional generalization. Our dataset and methodology will be useful resources for the study of cross-lingual compositional generalization in other tasks.
• Abstract（参考訳）: 構成一般化は効率的な学習と人間のような帰納バイアスを可能にする。 NLPの合成一般化に関するほとんどの研究は英語で行われているため、重要な疑問は未解決のままである。 必要な構成一般化能力は言語によって異なるか? モデルの構成的一般化は可能か? これらの質問に答える第一歩として、最近の研究では、セマンティック解析における合成一般化を評価するために、データセットの翻訳にニューラルネットワーク翻訳を用いた。 しかし,これは重要な意味的歪みを伴うことを示す。 この制限に対処するため、MCWQデータセットを英語から中国語、日本語に忠実に翻訳する。 MCWQ-Rと呼ばれるロバストなベンチマークが得られたとしても、構成の分布は言語的ばらつきによって依然として苦しめられ、多言語モデルも言語間合成の一般化に苦慮している。 我々のデータセットと方法論は、他のタスクにおける言語間合成の一般化の研究に有用である。

関連論文リスト

• Evaluating Structural Generalization in Neural Machine Translation [13.880151307013318]
  SGETは,単語や文構造を制御して,様々な種類の合成一般化を包含するデータセットである。 ニューラルネットワーク翻訳モデルは、語彙的一般化よりも構造的一般化に苦慮していることを示す。 また、セマンティック解析と機械翻訳において、様々なタスクにおける評価の重要性を示す様々なパフォーマンストレンドを見出した。
  論文  参考訳（メタデータ） (2024-06-19T09:09:11Z)
• DiNeR: a Large Realistic Dataset for Evaluating Compositional Generalization [30.05945103235578]
  本稿では,DiNeR(Dish NamE Recognition)タスクを提案する。 レシピの指導を受けると、モデルは料理、行動、フレーバーの様々な組み合わせからなる料理名を認識する必要がある。 我々のデータセットは3,811の料理と228,114のレシピで構成されており、アナフォラ、省略、曖昧さといった多くの言語現象を伴っている。
  論文  参考訳（メタデータ） (2024-06-07T06:35:21Z)
• On Using Distribution-Based Compositionality Assessment to Evaluate Compositional Generalisation in Machine Translation [10.840893953881652]
  実世界の自然言語タスクにおける合成一般化を評価するためのベンチマークを開発することが重要である。 これは、Europarl翻訳コーパスをトレーニングとテストセットに分割し、テストセットが構成的一般化能力を必要とするようにすることで行われる。 これは、自然言語合成性ベンチマークを作成するための、完全に自動化された手順である。
  論文  参考訳（メタデータ） (2023-11-14T15:37:19Z)
• How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
  本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。 構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。 我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
  論文  参考訳（メタデータ） (2023-05-08T16:32:18Z)
• It's All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning [4.200736775540874]
  我々は,重みを重み付けした線形分類器を特徴として訓練するコモンセンス推論への簡単なアプローチを設計する。 本手法は,近年のコモンセンス推論における教師なし・教師なしの手法と競合する。 パフォーマンスの大部分は、すべての研究対象言語に対する注目の小さなサブセットによって与えられる。
  論文  参考訳（メタデータ） (2021-06-22T21:25:43Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)
• Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both? [27.590858384414567]
  私たちは、自然言語のバリエーションと合成の一般化の両方を扱う意味解析アプローチを開発できますか? 我々は、この能力をよりよく評価するために、非合成データセットの新しいトレインとテスト分割を提案する。 また、NQG-T5は、高精度文法に基づくアプローチと事前学習されたシーケンス・ツー・シーケンスモデルを組み合わせたハイブリッドモデルである。
  論文  参考訳（メタデータ） (2020-10-24T00:38:27Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)
• A Benchmark for Systematic Generalization in Grounded Language Understanding [61.432407738682635]
  人間は慣れ親しんだ部分から成り立つ不慣れな状況を記述する表現を容易に解釈する。 対照的に、現代のニューラルネットワークは、新しい構成を理解するのに苦労している。 位置言語理解における合成一般化を評価するための新しいベンチマークであるgSCANを導入する。
  論文  参考訳（メタデータ） (2020-03-11T08:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。