論文の概要: Mixed-modality Representation Learning and Pre-training for Joint
Table-and-Text Retrieval in OpenQA
- arxiv url: http://arxiv.org/abs/2210.05197v1
- Date: Tue, 11 Oct 2022 07:04:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 14:19:04.875173
- Title: Mixed-modality Representation Learning and Pre-training for Joint
Table-and-Text Retrieval in OpenQA
- Title(参考訳): OpenQAにおける連接表とテキスト検索のための混合モダリティ表現学習と事前学習
- Authors: Junjie Huang, Wanjun Zhong, Qian Liu, Ming Gong, Daxin Jiang and Nan
Duan
- Abstract要約: 最適化された OpenQA Table-Text Retriever (OTTeR) を提案する。
検索中心の混合モード合成事前学習を行う。
OTTeRはOTT-QAデータセット上でのテーブル・アンド・テキスト検索の性能を大幅に改善する。
- 参考スコア(独自算出の注目度): 85.17249272519626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieving evidences from tabular and textual resources is essential for
open-domain question answering (OpenQA), which provides more comprehensive
information. However, training an effective dense table-text retriever is
difficult due to the challenges of table-text discrepancy and data sparsity
problem. To address the above challenges, we introduce an optimized OpenQA
Table-Text Retriever (OTTeR) to jointly retrieve tabular and textual evidences.
Firstly, we propose to enhance mixed-modality representation learning via two
mechanisms: modality-enhanced representation and mixed-modality negative
sampling strategy. Secondly, to alleviate data sparsity problem and enhance the
general retrieval ability, we conduct retrieval-centric mixed-modality
synthetic pre-training. Experimental results demonstrate that OTTeR
substantially improves the performance of table-and-text retrieval on the
OTT-QA dataset. Comprehensive analyses examine the effectiveness of all the
proposed mechanisms. Besides, equipped with OTTeR, our OpenQA system achieves
the state-of-the-art result on the downstream QA task, with 10.1\% absolute
improvement in terms of the exact match over the previous best system.
\footnote{All the code and data are available at
\url{https://github.com/Jun-jie-Huang/OTTeR}.}
- Abstract(参考訳): より包括的な情報を提供するオープンドメイン質問応答(OpenQA)には、表やテキストのリソースからエビデンスを取得することが不可欠である。
しかし,表文の不一致やデータの疎度の問題により,効率的な表文検索の訓練は困難である。
上記の課題に対処するために,表とテキストの証拠を共同検索する最適化された OpenQA Table-Text Retriever (OTTeR) を導入する。
まず,モダリティ強調表現と混合モダリティ否定サンプリング戦略の2つのメカニズムによる混合モダリティ表現学習の強化を提案する。
次に,データのスパーシティ問題を緩和し,一般検索能力を向上させるため,検索中心の混合モダリティ合成前訓練を行う。
実験の結果,OTTeRはOTT-QAデータセット上でのテーブル・アンド・テキスト検索の性能を大幅に向上することが示された。
包括的分析により,提案手法の有効性を検証した。
さらに, OTTeRを組み込んだOpenQAシステムでは, 下流QAタスクにおいて, 従来の最良システムよりも10.1\%の精度向上を実現している。
コードとデータは、 \url{https://github.com/Jun-jie-Huang/OTTeR}で公開されている。
}
関連論文リスト
- Beyond Extraction: Contextualising Tabular Data for Efficient
Summarisation by Language Models [0.0]
Retrieval-Augmented Generation アーキテクチャの従来の利用は、様々な文書から情報を取得するのに有効であることが証明されている。
本研究では,RAGに基づくシステムにおいて,複雑なテーブルクエリの精度を高めるための革新的なアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-04T16:16:14Z) - Improving Natural Language Understanding with Computation-Efficient
Retrieval Representation Fusion [23.276081846972236]
検索に基づく拡張は、質問応答やテキスト生成など、様々な知識集約(KI)タスクにおいて大きな成功を収めている。
しかし,テキスト分類などの非知識集約型タスクにおける検索の統合は依然として困難である。
本稿では,ニューラルネットワークを用いた計算効率の高いtextbfRetrieval 表現 textbfFusion を提案する。
論文 参考訳(メタデータ) (2024-01-04T07:39:26Z) - QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。
そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。
このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:43:51Z) - Detect, Retrieve, Comprehend: A Flexible Framework for Zero-Shot
Document-Level Question Answering [6.224211330728391]
研究者は貴重な技術知識を含む何千もの学術文書を作成した。
文書レベルの質問応答(QA)は、人間の提案する質問を適応して多様な知識を抽出できる柔軟なフレームワークを提供する。
本稿では,PDFからテキストを抽出する3段階の文書QAアプローチ,抽出したテキストからエビデンスを抽出して適切な文脈を形成する方法,文脈から知識を抽出して高品質な回答を返すためのQAを提案する。
論文 参考訳(メタデータ) (2022-10-04T23:33:52Z) - TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and
Textual Content in Finance [71.76018597965378]
TAT-QAと呼ばれるタブラデータとテクスチャデータの両方を含む新しい大規模な質問応答データセットを構築します。
本稿では,テーブルとテキストの両方を推論可能な新しいQAモデルであるTAGOPを提案する。
論文 参考訳(メタデータ) (2021-05-17T06:12:06Z) - Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。
本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。
最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
論文 参考訳(メタデータ) (2020-12-29T14:39:35Z) - Open Question Answering over Tables and Text [55.8412170633547]
オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。
ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。
我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
論文 参考訳(メタデータ) (2020-10-20T16:48:14Z) - Structured Multimodal Attentions for TextVQA [57.71060302874151]
上述の2つの問題を主に解決するために,終端から終端までの構造化マルチモーダルアテンション(SMA)ニューラルネットワークを提案する。
SMAはまず、画像に現れるオブジェクト・オブジェクト・オブジェクト・テキスト・テキストの関係を符号化するために構造グラフ表現を使用し、その後、それを推論するためにマルチモーダルグラフアテンションネットワークを設計する。
提案モデルでは,テキストVQAデータセットとST-VQAデータセットの2つのタスクを事前学習ベースTAP以外のモデルで比較した。
論文 参考訳(メタデータ) (2020-06-01T07:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。