論文の概要: COGS: A Compositional Generalization Challenge Based on Semantic Interpretation

• arxiv url: http://arxiv.org/abs/2010.05465v1
• Date: Mon, 12 Oct 2020 05:45:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:42:53.210606
• Title: COGS: A Compositional Generalization Challenge Based on Semantic Interpretation
• Title（参考訳）: COGS:意味論的解釈に基づく構成的一般化の挑戦
• Authors: Najoung Kim and Tal Linzen
• Abstract要約: 英語の断片に基づく意味解析データセットであるCOGSを紹介する。 COGSの評価部分は、構成一般化によってのみ対処できる複数の系統的なギャップを含んでいる。 トランスフォーマーとLSTMを用いた実験では, COGS試験セットの分布精度は96～99%に近かったが, 一般化精度は16～35%低下し, ランダムシードに対する感度が高かった。
• 参考スコア（独自算出の注目度）: 27.89019245763459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language is characterized by compositionality: the meaning of a complex expression is constructed from the meanings of its constituent parts. To facilitate the evaluation of the compositional abilities of language processing architectures, we introduce COGS, a semantic parsing dataset based on a fragment of English. The evaluation portion of COGS contains multiple systematic gaps that can only be addressed by compositional generalization; these include new combinations of familiar syntactic structures, or new combinations of familiar words and familiar structures. In experiments with Transformers and LSTMs, we found that in-distribution accuracy on the COGS test set was near-perfect (96--99%), but generalization accuracy was substantially lower (16--35%) and showed high sensitivity to random seed ($\pm$6--8%). These findings indicate that contemporary standard NLP models are limited in their compositional generalization capacity, and position COGS as a good way to measure progress.
• Abstract（参考訳）: 自然言語は構成性によって特徴づけられ、複雑な表現の意味はその構成要素の意味から構築される。 言語処理アーキテクチャの構成能力の評価を容易にするために,英語の断片に基づく意味解析データセットであるCOGSを導入する。 cogsの評価部分は、組成の一般化によってのみ対処できる複数の体系的ギャップを含み、親しみやすい構文構造の新たな組み合わせ、親しみやすい単語と親しみのある構造の新たな組み合わせが含まれる。 変圧器とlstmを用いた実験では,cogsテストセットの分布精度はほぼ完全 (96～99%) であるが,一般化精度は(16～35%) に低下し,無作為種子に対して高い感度 (\pm$6～88%) を示した。 これらの結果から, コンテンポラリー標準NLPモデルは, 構成一般化能力に制限があり, COGSが進行度を測定する良い方法であることが示された。

関連論文リスト

• On Using Distribution-Based Compositionality Assessment to Evaluate Compositional Generalisation in Machine Translation [10.840893953881652]
  実世界の自然言語タスクにおける合成一般化を評価するためのベンチマークを開発することが重要である。 これは、Europarl翻訳コーパスをトレーニングとテストセットに分割し、テストセットが構成的一般化能力を必要とするようにすることで行われる。 これは、自然言語合成性ベンチマークを作成するための、完全に自動化された手順である。
  論文  参考訳（メタデータ） (2023-11-14T15:37:19Z)
• SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
  合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。 既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。 SLOGは,COGSを拡張したセマンティック解析データセットである。
  論文  参考訳（メタデータ） (2023-10-23T15:39:09Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• UPB at SemEval-2021 Task 1: Combining Deep Learning and Hand-Crafted Features for Lexical Complexity Prediction [0.7197592390105455]
  本稿では,SemEval-2021 Task 1: Lexical Complexity Prediction competitionについて述べる。 私たちの結果は、第1および第2サブタスクの競争で得られたトップスコアよりもわずか5.46%と6.5%低いです。
  論文  参考訳（メタデータ） (2021-04-14T17:05:46Z)
• Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both? [27.590858384414567]
  私たちは、自然言語のバリエーションと合成の一般化の両方を扱う意味解析アプローチを開発できますか? 我々は、この能力をよりよく評価するために、非合成データセットの新しいトレインとテスト分割を提案する。 また、NQG-T5は、高精度文法に基づくアプローチと事前学習されたシーケンス・ツー・シーケンスモデルを組み合わせたハイブリッドモデルである。
  論文  参考訳（メタデータ） (2020-10-24T00:38:27Z)
• Hierarchical Poset Decoding for Compositional Generalization in Language [52.13611501363484]
  出力が部分的に順序付けられた集合(命題)である構造化予測タスクとして人間の言語理解を形式化する。 現在のエンコーダ・デコーダアーキテクチャは意味論のポーズ構造を適切に考慮していない。 本稿では,言語における合成一般化のための新しい階層型ポーズデコーディングパラダイムを提案する。
  論文  参考訳（メタデータ） (2020-10-15T14:34:26Z)
• Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
  オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。 合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
  論文  参考訳（メタデータ） (2020-10-12T12:34:58Z)
• A Benchmark for Systematic Generalization in Grounded Language Understanding [61.432407738682635]
  人間は慣れ親しんだ部分から成り立つ不慣れな状況を記述する表現を容易に解釈する。 対照的に、現代のニューラルネットワークは、新しい構成を理解するのに苦労している。 位置言語理解における合成一般化を評価するための新しいベンチマークであるgSCANを導入する。
  論文  参考訳（メタデータ） (2020-03-11T08:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。