論文の概要: Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering

• arxiv url: http://arxiv.org/abs/2007.00266v3
• Date: Tue, 10 Nov 2020 06:22:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 21:42:47.265474
• Title: Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering
• Title（参考訳）: 質問応答における潜在構成表現による体系的一般化の改善
• Authors: Ben Bogin, Sanjay Subramanian, Matt Gardner, Jonathan Berant
• Abstract要約: 接地された質問応答における最先端のモデルは、しばしば明示的に分解を行わない。 本稿では,全ての質問に対する表現と記述をボトムアップで構成的に計算するモデルを提案する。 私たちのモデルは、エンドツーエンド(回答)のみによって駆動される潜木を誘導します。
• 参考スコア（独自算出の注目度）: 46.87501300706542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Answering questions that involve multi-step reasoning requires decomposing them and using the answers of intermediate steps to reach the final answer. However, state-of-the-art models in grounded question answering often do not explicitly perform decomposition, leading to difficulties in generalization to out-of-distribution examples. In this work, we propose a model that computes a representation and denotation for all question spans in a bottom-up, compositional manner using a CKY-style parser. Our model induces latent trees, driven by end-to-end (the answer) supervision only. We show that this inductive bias towards tree structures dramatically improves systematic generalization to out-of-distribution examples, compared to strong baselines on an arithmetic expressions benchmark as well as on CLOSURE, a dataset that focuses on systematic generalization for grounded question answering. On this challenging dataset, our model reaches an accuracy of 96.1%, significantly higher than prior models that almost perfectly solve the task on a random, in-distribution split.
• Abstract（参考訳）: 複数段階の推論を含む質問に答えるには、それらを分解し、中間ステップの回答を使用して最終回答に到達する必要がある。 しかしながら、接地質問応答における最先端のモデルは、しばしば分解を明示的に行わないため、分散例への一般化が困難になる。 そこで本研究では,CKY型構文解析器を用いたボトムアップ・コンポジション方式で,全ての質問に対する表現と記述を計算したモデルを提案する。 私たちのモデルは、エンドツーエンド(回答)の監視のみによって駆動される潜木を誘導します。 本稿では,木構造に対する帰納的バイアスが,算術式ベンチマークの強いベースラインや,接地質問応答の体系的一般化に焦点を当てたデータセットであるクロージャと比較して,分布外例への系統的一般化を劇的に改善することを示す。 この困難なデータセットでは、このモデルは96.1%の精度に達し、ランダムな分散分割でタスクをほぼ完全に解決する以前のモデルよりもかなり高い。

関連論文リスト

• Towards an Understanding of Stepwise Inference in Transformers: A Synthetic Graph Navigation Model [19.826983068662106]
  本稿では,ステップワイズ推論が一般的に有用である問題の多段階の性質を具現化した,自動回帰変換器モデルを提案する。 単純さにもかかわらず、私たちは経験的に、大規模に観察されたいくつかの現象を再現し分析することができることに気付きました。
  論文  参考訳（メタデータ） (2024-02-12T16:25:47Z)
• Detection-based Intermediate Supervision for Visual Question Answering [13.96848991623376]
  シーケンス生成による複数のグラウンド管理を容易にするための生成的検出フレームワークを提案する。 提案するDisdisはより包括的で正確な中間監視を提供するので,回答予測性能が向上する。 拡張実験により提案したdisの精度と最先端の推論整合性の両方を実証した。
  論文  参考訳（メタデータ） (2023-12-26T11:45:22Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Discrete Reasoning Templates for Natural Language Understanding [79.07883990966077]
  我々は,複雑な質問をより単純な質問に分解する手法を提案する。 事前定義された推論テンプレートの指示に従って最終回答を導出する。 我々のアプローチは、解釈可能でありながら最先端技術と競合し、監督をほとんど必要としないことを示す。
  論文  参考訳（メタデータ） (2021-04-05T18:56:56Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)
• Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds [7.769102711230249]
  本稿では,現在のニューラルネットワークアーキテクチャと容易に融合可能な,神経科学にインスパイアされた誘導バイアスモジュールを提案する。 この誘導バイアスを持つニューラルネットは、様々な関係推論タスクにおいて、O.o.d一般化性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-06-15T19:09:13Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。