論文の概要: Grounded Graph Decoding Improves Compositional Generalization in
Question Answering
- arxiv url: http://arxiv.org/abs/2111.03642v1
- Date: Fri, 5 Nov 2021 17:50:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-08 14:19:29.161979
- Title: Grounded Graph Decoding Improves Compositional Generalization in
Question Answering
- Title(参考訳): グラウンドドグラフデコーディングによる質問応答における合成一般化の改善
- Authors: Yu Gai, Paras Jain, Wendi Zhang, Joseph E. Gonzalez, Dawn Song, Ion
Stoica
- Abstract要約: 質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。
構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。
本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
- 参考スコア(独自算出の注目度): 68.72605660152101
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Question answering models struggle to generalize to novel compositions of
training patterns, such to longer sequences or more complex test structures.
Current end-to-end models learn a flat input embedding which can lose input
syntax context. Prior approaches improve generalization by learning permutation
invariant models, but these methods do not scale to more complex train-test
splits. We propose Grounded Graph Decoding, a method to improve compositional
generalization of language representations by grounding structured predictions
with an attention mechanism. Grounding enables the model to retain syntax
information from the input in thereby significantly improving generalization
over complex inputs. By predicting a structured graph containing conjunctions
of query clauses, we learn a group invariant representation without making
assumptions on the target domain. Our model significantly outperforms
state-of-the-art baselines on the Compositional Freebase Questions (CFQ)
dataset, a challenging benchmark for compositional generalization in question
answering. Moreover, we effectively solve the MCD1 split with 98% accuracy.
- Abstract(参考訳): 質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。
現在のエンドツーエンドモデルは、入力構文コンテキストを失う可能性のあるフラットな入力埋め込みを学ぶ。
従来の手法は置換不変モデルを学習することで一般化を改善するが、これらの手法はより複雑な列車-試験分割にスケールしない。
構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。
グラウンド化により、モデルは入力からの構文情報を保持できるため、複雑な入力に対する一般化が大幅に向上する。
クエリー節の結合を含む構造化グラフを予測することにより、ターゲット領域に仮定することなくグループ不変表現を学習する。
本モデルは,質問応答における合成一般化のための挑戦的ベンチマークであるCFQデータセットにおいて,最先端のベースラインを著しく上回る。
さらに, MCD1分割を98%精度で効果的に解いた。
関連論文リスト
- Towards Understanding the Relationship between In-context Learning and Compositional Generalization [7.843029855730508]
私たちは、通常の学習を非常に難しい設定で因果変換器を訓練します。
しかし、このモデルは、初期の例を利用して、後の例に一般化することで、タスクを解くことができる。
データセット、SCAN、COGS、GeoQueryの評価では、この方法でトレーニングされたモデルは、実際に合成の一般化の改善を示している。
論文 参考訳(メタデータ) (2024-03-18T14:45:52Z) - Compositional Generalization without Trees using Multiset Tagging and
Latent Permutations [121.37328648951993]
まず、各入力トークンに複数の出力トークンをタグ付けします。
次に、新しいパラメータ化法と置換予測法を用いて、トークンを出力シーケンスに配置する。
我々のモデルは、事前訓練されたセq2seqモデルと、現実的なセマンティック解析タスクに関する先行研究より優れている。
論文 参考訳(メタデータ) (2023-05-26T14:09:35Z) - Real-World Compositional Generalization with Disentangled
Sequence-to-Sequence Learning [81.24269148865555]
最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。
このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。
具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
論文 参考訳(メタデータ) (2022-12-12T15:40:30Z) - Compositional Generalization Requires Compositional Parsers [69.77216620997305]
直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。
構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
論文 参考訳(メタデータ) (2022-02-24T07:36:35Z) - Recursive Decoding: A Situated Cognition Approach to Compositional
Generation in Grounded Language Understanding [0.0]
本稿では,Seq2seqモデルをトレーニングおよび使用するための新しい手順であるRecursive Decodingを提案する。
1回のパスで出力シーケンス全体を生成するのではなく、モデルは一度に1つのトークンを予測するように訓練される。
RDは、gSCANの2つの以前に無視された一般化タスクに対して劇的な改善をもたらす。
論文 参考訳(メタデータ) (2022-01-27T19:13:42Z) - Disentangled Sequence to Sequence Learning for Compositional
Generalization [62.954842223732435]
本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。
意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
論文 参考訳(メタデータ) (2021-10-09T22:27:19Z) - Unlocking Compositional Generalization in Pre-trained Models Using
Intermediate Representations [27.244943870086175]
seq2seq(sequence-to-sequence)モデルは、分散構成の一般化に苦しむことが知られている。
事前訓練されたseq2seqモデルにおける中間表現が組成一般化に及ぼす影響について検討する。
論文 参考訳(メタデータ) (2021-04-15T14:15:14Z) - Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。
合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
論文 参考訳(メタデータ) (2020-10-12T12:34:58Z) - Latent Compositional Representations Improve Systematic Generalization
in Grounded Question Answering [46.87501300706542]
接地された質問応答における最先端のモデルは、しばしば明示的に分解を行わない。
本稿では,全ての質問に対する表現と記述をボトムアップで構成的に計算するモデルを提案する。
私たちのモデルは、エンドツーエンド(回答)のみによって駆動される潜木を誘導します。
論文 参考訳(メタデータ) (2020-07-01T06:22:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。