Fugu-MT 論文翻訳(概要): Zero-shot Slot Filling with DPR and RAG

論文の概要: Zero-shot Slot Filling with DPR and RAG

arxiv url: http://arxiv.org/abs/2104.08610v1
Date: Sat, 17 Apr 2021 18:24:51 GMT
ステータス: 処理完了
システム内更新日: 2021-04-20 14:44:02.453406
Title: Zero-shot Slot Filling with DPR and RAG
Title（参考訳）: DPRとRAGによるゼロショットスロット充填
Authors: Michael Glass, Gaetano Rossiello, Alfio Gliozzo
Abstract要約: 与えられた文書コレクションから知識グラフ(KG)を自動的に抽出する能力は、人工知能の長年の問題である。この分野の最近の進歩は、検索ベースの言語モデルを用いて、エンドツーエンドの方法でこの課題を解決しようとする。本稿では,より優れたスロットフィラーを実現するために,ragのレトリバーとジェネレータを改善するためのいくつかの戦略について述べる。
参考スコア（独自算出の注目度）: 10.577238010892287
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The ability to automatically extract Knowledge Graphs (KG) from a given collection of documents is a long-standing problem in Artificial Intelligence. One way to assess this capability is through the task of slot filling. Given an entity query in form of [Entity, Slot, ?], a system is asked to `fill' the slot by generating or extracting the missing value from a relevant passage or passages. This capability is crucial to create systems for automatic knowledge base population, which is becoming in ever-increasing demand, especially in enterprise applications. Recently, there has been a promising direction in evaluating language models in the same way we would evaluate knowledge bases, and the task of slot filling is the most suitable to this intent. The recent advancements in the field try to solve this task in an end-to-end fashion using retrieval-based language models. Models like Retrieval Augmented Generation (RAG) show surprisingly good performance without involving complex information extraction pipelines. However, the results achieved by these models on the two slot filling tasks in the KILT benchmark are still not at the level required by real-world information extraction systems. In this paper, we describe several strategies we adopted to improve the retriever and the generator of RAG in order to make it a better slot filler. Our KGI0 system (available at https://github.com/IBM/retrieve-write-slot-filling) reached the top-1 position on the KILT leaderboard on both T-REx and zsRE dataset with a large margin.
Abstract（参考訳）: 与えられた文書コレクションから知識グラフ(KG)を自動的に抽出する能力は、人工知能の長年の問題である。この能力を評価する一つの方法はスロットフィリングのタスクである。エンティティクエリが[Entity, Slot, ?]形式で与えられる。 ]関連する通路や通路から欠落した値を生成または抽出することによりスロットを「埋める」ようシステムに依頼する。この能力は、特にエンタープライズアプリケーションにおいて、ますます需要が高まっている知識ベース人口の自動生成システムを作成する上で非常に重要である。近年,知識ベースの評価と同様,言語モデルの評価には有望な方向性があり,スロットフィリングのタスクがこの目的に最も適している。この分野の最近の進歩は、検索に基づく言語モデルを用いてエンドツーエンドでこの課題を解決しようとしている。 Retrieval Augmented Generation (RAG)のようなモデルは、複雑な情報抽出パイプラインを伴わずに驚くほど優れたパフォーマンスを示す。しかし、KILTベンチマークの2つのスロットフィリングタスクにおけるこれらのモデルによる結果は、実際の情報抽出システムに必要なレベルには達していない。本稿では,より優れたスロットフィラーを実現するために,ragのレトリバーとジェネレータを改善するためのいくつかの戦略について述べる。我々のKGI0システム(https://github.com/IBM/retrieve-write-slot-filling)は、T-RExデータセットとzsREデータセットの両方でKILTリーダボードの1位に達した。

関連論文リスト

Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience Report [3.4632900249241874]
本稿では,PDF文書を主データ源とする検索拡張生成システム(RAG)の開発経験報告について述べる。 RAGアーキテクチャは、Large Language Models (LLM) の生成能力と情報検索の精度を組み合わせたものである。この研究の実際的な意味は、様々な分野における生成AIシステムの信頼性を高めることである。
論文参考訳（メタデータ） (2024-10-21T12:21:49Z)
Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文参考訳（メタデータ） (2024-10-08T15:22:36Z)
GEM-RAG: Graphical Eigen Memories For Retrieval Augmented Generation [3.2027710059627545]
検索拡張生成のためのグラフィカル固有メモリ(GEM-RAG)について紹介する。 GEM-RAG は LLM が生成したユーティリティの質問を与えられたテキストコーパスにタグ付けすることで機能する。我々は,UnifiedQA と GPT-3.5 Turbo を LLM として,SBERT を用いた GEM-RAG と OpenAI のテキストエンコーダを2つの標準QA タスクで評価した。
論文参考訳（メタデータ） (2024-09-23T21:42:47Z)
Knowledge-Aware Audio-Grounded Generative Slot Filling for Limited Annotated Data [61.89520860387473]
本稿では,タスク指向対話(ToD)システムにおいて,KA2G(Knowledge-Aware Audio-Grounded Generative slot-filling framework)を提案する。 KA2Gは,1)テキスト生成タスクとしてフレーミングすること,2)音声モダリティを付加したテキスト生成を行うこと,3)利用可能な外部知識を条件付けること,である。標準音声ベースのシングルターンSLURPデータセットと商用ToDシステムから抽出したマルチターンデータセットを用いて実験を行い、強みと一貫した利得を示す。
論文参考訳（メタデータ） (2023-07-04T15:05:42Z)
Re2G: Retrieve, Rerank, Generate [14.848179433828252]
ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。 KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
論文参考訳（メタデータ） (2022-07-13T15:51:40Z)
Conditional Generation with a Question-Answering Blueprint [84.95981645040281]
我々は、条件生成を不透明にし、より根底的にレンダリングするための有用な中間表現としてのプランニングを提唱する。我々は、最先端の質問生成技術を利用して、自動的に青写真を得る。我々はTransformerベースのモデルを開発し、それぞれが生成した出力にブループリントを組み込む方法が異なる。
論文参考訳（メタデータ） (2022-07-01T13:10:19Z)
Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文参考訳（メタデータ） (2022-04-22T10:45:01Z)
Robust Retrieval Augmented Generation for Zero-shot Slot Filling [11.30375489913602]
本稿では,ゼロショットスロットフィリングに対する新しいアプローチを提案する。この手法は,高密度経路の検索を強陰性で拡張し,拡張生成モデル検索のための堅牢なトレーニング手順を提案する。提案モデルでは,T-RExおよびzsREスロット充填データセットの大幅な改善,経路検索とスロット値生成の改善,KILTリーダーボードの上位1位にランクインした。
論文参考訳（メタデータ） (2021-08-31T15:51:27Z)
KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文参考訳（メタデータ） (2020-09-04T15:32:19Z)
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
論文参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。