論文の概要: Robust Retrieval Augmented Generation for Zero-shot Slot Filling
- arxiv url: http://arxiv.org/abs/2108.13934v1
- Date: Tue, 31 Aug 2021 15:51:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 17:56:06.252897
- Title: Robust Retrieval Augmented Generation for Zero-shot Slot Filling
- Title（参考訳）: ゼロショットスロット充満のためのロバスト検索生成
- Authors: Michael Glass, Gaetano Rossiello, Md Faisal Mahbub Chowdhury, Alfio
Gliozzo
- Abstract要約: 本稿では,ゼロショットスロットフィリングに対する新しいアプローチを提案する。この手法は,高密度経路の検索を強陰性で拡張し,拡張生成モデル検索のための堅牢なトレーニング手順を提案する。
提案モデルでは,T-RExおよびzsREスロット充填データセットの大幅な改善,経路検索とスロット値生成の改善,KILTリーダーボードの上位1位にランクインした。
- 参考スコア（独自算出の注目度）: 11.30375489913602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatically inducing high quality knowledge graphs from a given collection
of documents still remains a challenging problem in AI. One way to make headway
for this problem is through advancements in a related task known as slot
filling. In this task, given an entity query in form of [Entity, Slot, ?], a
system is asked to fill the slot by generating or extracting the missing value
exploiting evidence extracted from relevant passage(s) in the given document
collection. The recent works in the field try to solve this task in an
end-to-end fashion using retrieval-based language models. In this paper, we
present a novel approach to zero-shot slot filling that extends dense passage
retrieval with hard negatives and robust training procedures for retrieval
augmented generation models. Our model reports large improvements on both T-REx
and zsRE slot filling datasets, improving both passage retrieval and slot value
generation, and ranking at the top-1 position in the KILT leaderboard.
Moreover, we demonstrate the robustness of our system showing its domain
adaptation capability on a new variant of the TACRED dataset for slot filling,
through a combination of zero/few-shot learning. We release the source code and
pre-trained models.
- Abstract（参考訳）: ドキュメントのコレクションから高品質な知識グラフを自動生成することは、AIでは依然として難しい問題である。
この問題を解決する方法の1つは、スロットフィリングと呼ばれる関連するタスクの進歩である。
このタスクでは、[Entity, Slot, ?]という形式でエンティティクエリが与えられます。
]所定の文書コレクション内の関連通路から抽出された証拠を利用して不足値を生成し、抽出することにより、スロットを埋めるようにシステムに依頼する。
この分野における最近の研究は、検索に基づく言語モデルを用いてエンドツーエンドでこの課題を解決しようとしている。
本稿では,新しいゼロショットスロット充填法を提案する。ハード負の密閉通路検索と拡張生成モデル検索のためのロバストなトレーニング手順を提案する。
提案モデルでは,T-RExおよびzsREスロット充填データセットの大幅な改善,経路検索とスロット値生成の改善,KILTリーダーボードの上位1位にランクインした。
さらに、ゼロ/フェーショット学習の組み合わせにより、スロットフィリングのためのTACREDデータセットの新たな変種に対して、ドメイン適応能力を示すシステムの堅牢性を示す。
ソースコードと事前学習したモデルをリリースします。
関連論文リスト
- RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳（メタデータ） (2024-03-31T08:58:54Z) - Distillation Enhanced Generative Retrieval [96.69326099136289]
生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。
本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。
本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-16T15:48:24Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - GAR-meets-RAG Paradigm for Zero-Shot Information Retrieval [16.369071865207808]
本稿では,既存のパラダイムの課題を克服する新しいGAR-meets-RAG再帰の定式化を提案する。
鍵となる設計原則は、リライト・検索段階がシステムのリコールを改善し、最終段階が精度を向上させることである。
我々の手法はBEIRベンチマークで新たな最先端性を確立し、8つのデータセットのうち6つでRecall@100とnDCG@10の指標で過去の最高の結果を上回った。
論文 参考訳（メタデータ） (2023-10-31T03:52:08Z) - How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
各種コーパス尺度における生成的検索手法の実証的研究を行った。
我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。
生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
論文 参考訳（メタデータ） (2023-05-19T17:33:38Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳（メタデータ） (2022-08-16T10:22:49Z) - Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。
そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
論文 参考訳（メタデータ） (2022-06-21T18:16:31Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳（メタデータ） (2022-04-22T10:45:01Z) - A Span Extraction Approach for Information Extraction on Visually-Rich
Documents [2.3131309703965135]
視覚豊かな文書(VRD)を事前学習する言語モデルの能力向上のための新しいアプローチを提案する。
まず、クエリベースの新しいIEモデルを導入し、一般的に使用されるシーケンスラベリングアプローチの代わりにスパン抽出の定式化を採用する。
また、文書内の意味的エンティティ間の関係をモデル化することに焦点を当てた新しいトレーニングタスクを提案する。
論文 参考訳（メタデータ） (2021-06-02T06:50:04Z) - Zero-shot Slot Filling with DPR and RAG [10.577238010892287]
与えられた文書コレクションから知識グラフ(KG)を自動的に抽出する能力は、人工知能の長年の問題である。
この分野の最近の進歩は、検索ベースの言語モデルを用いて、エンドツーエンドの方法でこの課題を解決しようとする。
本稿では,より優れたスロットフィラーを実現するために,ragのレトリバーとジェネレータを改善するためのいくつかの戦略について述べる。
論文 参考訳（メタデータ） (2021-04-17T18:24:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。