論文の概要: Span-based Semantic Parsing for Compositional Generalization

• arxiv url: http://arxiv.org/abs/2009.06040v2
• Date: Sun, 13 Jun 2021 09:07:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 02:59:14.194958
• Title: Span-based Semantic Parsing for Compositional Generalization
• Title（参考訳）: 合成一般化のためのスパンベース意味解析
• Authors: Jonathan Herzig and Jonathan Berant
• Abstract要約: SpanBasedSPは入力発話上のスパンツリーを予測し、部分的なプログラムが入力内のスパンをどのように構成するかを明示的に符号化する。 GeoQuery、SCAN、CLOSUREでは、SpanBasedSPはランダムスプリットの強いseq2seqベースラインと似ているが、構成一般化を必要とするスプリットのベースラインに比べて劇的に性能が向上する。
• 参考スコア（独自算出の注目度）: 53.24255235340056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of sequence-to-sequence (seq2seq) models in semantic parsing, recent work has shown that they fail in compositional generalization, i.e., the ability to generalize to new structures built of components observed during training. In this work, we posit that a span-based parser should lead to better compositional generalization. we propose SpanBasedSP, a parser that predicts a span tree over an input utterance, explicitly encoding how partial programs compose over spans in the input. SpanBasedSP extends Pasupat et al. (2019) to be comparable to seq2seq models by (i) training from programs, without access to gold trees, treating trees as latent variables, (ii) parsing a class of non-projective trees through an extension to standard CKY. On GeoQuery, SCAN and CLOSURE datasets, SpanBasedSP performs similarly to strong seq2seq baselines on random splits, but dramatically improves performance compared to baselines on splits that require compositional generalization: from $61.0 \rightarrow 88.9$ average accuracy.
• Abstract（参考訳）: 意味解析におけるシーケンシャル・ツー・シークエンス(seq2seq)モデルの成功にもかかわらず、近年の研究では、合成の一般化、すなわち訓練中に観察されるコンポーネントで構成された新しい構造に一般化する能力に失敗することが示されている。 本研究では、スパンベースのパーサがより優れた構成一般化をもたらすと仮定する。 本研究では,入力音声上でスパンツリーを予測し,部分的なプログラムが入力中のスパンをどう構成するかを明示的に符号化するパーサであるSpanBasedSPを提案する。 SpanBasedSP は Pasupat et al. (2019) を拡張して seq2seq モデルに匹敵する。 (i)金木を利用せず、木を潜伏変数として扱うプログラムからの訓練 (ii)標準ckyの拡張を通して非射影木のクラスを解析する。 ジオクエリ、スキャン、クロージャデータセットでは、span basedspはランダムスプリットの強いseq2seqベースラインと同様に動作するが、構成の一般化を必要とするスプリットのベースラインと比べて劇的にパフォーマンスが向上する。

関連論文リスト

• High-order Joint Constituency and Dependency Parsing [15.697429723696011]
  我々は、入力文に対して、共同で選挙区と依存木を解析する話題、すなわち、互換性のある選挙区と依存木を同時に生成する話題を再考する。 我々は、7つの言語の実験と分析を行い、リッチリソースと低リソースの両方のシナリオをカバーしています。
  論文  参考訳（メタデータ） (2023-09-21T08:45:41Z)
• Compositional Generalization without Trees using Multiset Tagging and Latent Permutations [121.37328648951993]
  まず、各入力トークンに複数の出力トークンをタグ付けします。 次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。 我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
  論文  参考訳（メタデータ） (2023-05-26T14:09:35Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Unsupervised and Few-shot Parsing from Pretrained Language Models [56.33247845224995]
  本研究では,事前学習言語モデルで学習した自己注意重み行列に基づいて,アウトアソシエーションスコアを算出した教師なし構成的パーシングモデルを提案する。 教師なしモデルからいくつかの注釈付き木を用いた数ショット構文解析モデルに拡張し、解析のためのより優れた線形射影行列を学習する。 FPIOは20本の注釈付き木で訓練され、50本の注釈付き木で訓練された過去の数枚の構文解析よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-10T10:29:15Z)
• Compositional Task-Oriented Parsing as Abstractive Question Answering [25.682923914685063]
  タスク指向構文解析は、自然言語をアラームの設定など特定のタスクの機械可読表現に変換することを目的としている。 TOP に対する一般的なアプローチは、線形化されたパースツリーを生成するために seq2seq モデルを適用することである。 より最近の研究は、事前訓練されたSeq2seqモデルは、それ自体が自然言語である出力を生成するのに優れており、線形化されたパースツリーを標準自然言語のパラフレーズに置き換えていると主張している。
  論文  参考訳（メタデータ） (2022-05-04T14:01:08Z)
• A Character-level Span-based Model for Mandarin Prosodic Structure Prediction [36.90699361223442]
  最適な韻律構造木を得るために,スパンに基づくマンダリン韻律構造予測モデルを提案する。 リッチ言語的特徴は漢字レベルのBERTによって提供され、自己注意型アーキテクチャでエンコーダに送信される。 提案手法は,異なるレベルの韻律ラベルを同時に予測し,その処理を漢字から直接行うことができる。
  論文  参考訳（メタデータ） (2022-03-31T09:47:08Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• Headed Span-Based Projective Dependency Parsing [24.337440797369702]
  本稿では,プロジェクティブ依存関係解析のための階層型スパンベース手法を提案する。 我々はニューラルネットワークを使って、グローバルトレーニングと正確な推論を可能にする、新しい$O(n3)$の動的プログラミングアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2021-08-10T15:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。