論文の概要: DyREx: Dynamic Query Representation for Extractive Question Answering

• arxiv url: http://arxiv.org/abs/2210.15048v1
• Date: Wed, 26 Oct 2022 21:26:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 12:32:50.905622
• Title: DyREx: Dynamic Query Representation for Extractive Question Answering
• Title（参考訳）: DyREx: 抽出質問応答のための動的クエリ表現
• Authors: Urchade Zaratiana and Niama El Khbir and Dennis N\'u\~nez and Pierre Holat and Nadi Tomeh and Thierry Charnois
• Abstract要約: 入力されたクエリベクトルを動的に計算するtextitvanilla アプローチの一般化である textitDyREx を提案する。 実証的な観察は、我々のアプローチが標準よりも一貫して性能を改善していることを示している。
• 参考スコア（独自算出の注目度）: 0.17616042687330644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extractive question answering (ExQA) is an essential task for Natural Language Processing. The dominant approach to ExQA is one that represents the input sequence tokens (question and passage) with a pre-trained transformer, then uses two learned query vectors to compute distributions over the start and end answer span positions. These query vectors lack the context of the inputs, which can be a bottleneck for the model performance. To address this problem, we propose \textit{DyREx}, a generalization of the \textit{vanilla} approach where we dynamically compute query vectors given the input, using an attention mechanism through transformer layers. Empirical observations demonstrate that our approach consistently improves the performance over the standard one. The code and accompanying files for running the experiments are available at \url{https://github.com/urchade/DyReX}.
• Abstract（参考訳）: 抽出質問応答(ExQA)は自然言語処理に不可欠な課題である。 ExQAの主流のアプローチは、入力シーケンストークン(クエクションとパス)を事前訓練されたトランスフォーマーで表現し、2つの学習されたクエリベクトルを使用して、開始と終了の応答のスパン位置の分布を計算することである。 これらのクエリベクトルは入力のコンテキストを欠いているため、モデルのパフォーマンスのボトルネックとなる可能性がある。 この問題に対処するために,変換器層を通したアテンション機構を用いて,入力されたクエリベクトルを動的に計算する, \textit{DyREx} アプローチの一般化を提案する。 実証的な観察は、我々のアプローチが標準よりも一貫してパフォーマンスを向上させることを示している。 実験を実行するためのコードと添付ファイルは \url{https://github.com/urchade/DyReX} で入手できる。

関連論文リスト

• Pathformer: Recursive Path Query Encoding for Complex Logical Query Answering [20.521886749524814]
  木のような計算グラフ,すなわちクエリツリーをベースとした,Pathformerと呼ばれるニューラルネットワークによる一点埋め込み手法を提案する。 具体的には、Pathformerはクエリ計算ツリーを分岐によってパスクエリシーケンスに分解する。 これにより、Pathformerは将来のコンテキスト情報を完全に活用して、パスクエリの様々な部分間の複雑な相互作用を明示的にモデル化することができる。
  論文  参考訳（メタデータ） (2024-06-21T06:02:58Z)
• Conditional Logical Message Passing Transformer for Complex Query Answering [22.485655410582375]
  我々は、新しい最先端のニューラルCQAモデル、条件付き論理メッセージパッシングトランス(CLMPT)を提案する。 我々は,本手法が性能に影響を与えずに計算コストを削減できることを実証的に検証した。 実験の結果, CLMPTは最先端のニューラルCQAモデルであることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T12:17:01Z)
• Event Extraction as Question Generation and Answering [72.04433206754489]
  イベント抽出に関する最近の研究は、質問回答(QA)としてタスクを再編成した。 そこで我々は,QGA-EEを提案する。QGモデルにより,定型テンプレートを使わずに,リッチな文脈情報を含む質問を生成することができる。 実験の結果、QGA-EEはACE05の英語データセットで以前のシングルタスクベースのモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-10T01:46:15Z)
• Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning [54.55643652781891]
  Open-Domain Conversational Question Answering (ODConvQA)は、マルチターン会話を通じて質問に答えることを目的としている。 そこで本研究では,単語列に対する句検索方式を用いて,回答を直接予測する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T09:46:38Z)
• Sequential Query Encoding For Complex Query Answering on Knowledge Graphs [31.40820604209387]
  本稿では,知識グラフ(KG)推論のためのクエリを符号化する代替手段として,シーケンシャルクエリ符号化(SQE)を提案する。 SQEはまず、探索ベースのアルゴリズムを使用して、計算グラフを一連のトークンに線形化し、次にシーケンスエンコーダを使用してベクトル表現を計算する。 その単純さにもかかわらず、SQEはFB15k、FB15k-237、NELLで最先端のニューラルネットワーク符号化性能を示す。
  論文  参考訳（メタデータ） (2023-02-25T16:33:53Z)
• Improving Complex Knowledge Base Question Answering via Question-to-Action and Question-to-Question Alignment [6.646646618666681]
  ALCQAと呼ばれるアライメント強化複雑な質問応答フレームワークを導入する。 質問と各アクションを調整するために質問書き換えモデルをトレーニングし、事前訓練された言語モデルを使用して質問とKGアーティファクトを暗黙的に調整する。 提案手法は,質問と質問のアライメントを通じて,推論段階でトップkに類似した質問応答ペアを検索し,新たな報酬誘導行動列選択戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-26T08:12:41Z)
• Retrieval-Augmented Generative Question Answering for Event Argument Extraction [66.24622127143044]
  イベント引数抽出のための検索拡張生成QAモデル(R-GQA)を提案する。 最も類似したQAペアを検索し、現在の例のコンテキストへのプロンプトとして拡張し、引数を回答としてデコードする。 提案手法は, 様々な設定において, かなり先行した手法より優れている。
  論文  参考訳（メタデータ） (2022-11-14T02:00:32Z)
• Conditional Self-Attention for Query-based Summarization [49.616774159367516]
  条件依存モデリング用に設計されたニューラルネットワークモジュールであるテキスト条件自己アテンション(CSA)を提案する。 DebatepediaとHotpotQAベンチマークデータセットの実験は、CSAがバニラトランスフォーマーを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2020-02-18T02:22:31Z)
• Break It Down: A Question Understanding Benchmark [79.41678884521801]
  本稿では,質問に対する質問分解表現(QDMR)について紹介する。 QDMRは、質問に答えるために必要な自然言語で表されるステップの順序付きリストを構成する。 83万組の質問と彼らのQDMRを含むBreakデータセットをリリースする。
  論文  参考訳（メタデータ） (2020-01-31T11:04:52Z)
• Multi-level Head-wise Match and Aggregation in Transformer for Textual Sequence Matching [87.97265483696613]
  そこで本研究では,複数のレベルにおける頭部のマッチング表現を学習することで,Transformerとのシーケンスペアマッチングを新たに提案する。 実験の結果,提案手法は複数のタスクにおいて新しい最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2020-01-20T20:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。