論文の概要: KILT: a Benchmark for Knowledge Intensive Language Tasks

• arxiv url: http://arxiv.org/abs/2009.02252v4
• Date: Thu, 27 May 2021 15:20:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 01:34:23.684915
• Title: KILT: a Benchmark for Knowledge Intensive Language Tasks
• Title（参考訳）: KILT: 知識集約型言語タスクのベンチマーク
• Authors: Fabio Petroni, Aleksandra Piktus, Angela Fan, Patrick Lewis, Majid Yazdani, Nicola De Cao, James Thorne, Yacine Jernite, Vladimir Karpukhin, Jean Maillard, Vassilis Plachouras, Tim Rockt\"aschel, Sebastian Riedel
• Abstract要約: 知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。 共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
• 参考スコア（独自算出の注目度）: 102.33046195554886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Challenging problems such as open-domain question answering, fact checking, slot filling and entity linking require access to large, external knowledge sources. While some models do well on individual tasks, developing general models is difficult as each task might require computationally expensive indexing of custom knowledge sources, in addition to dedicated infrastructure. To catalyze research on models that condition on specific information in large textual resources, we present a benchmark for knowledge-intensive language tasks (KILT). All tasks in KILT are grounded in the same snapshot of Wikipedia, reducing engineering turnaround through the re-use of components, as well as accelerating research into task-agnostic memory architectures. We test both task-specific and general baselines, evaluating downstream performance in addition to the ability of the models to provide provenance. We find that a shared dense vector index coupled with a seq2seq model is a strong baseline, outperforming more tailor-made approaches for fact checking, open-domain question answering and dialogue, and yielding competitive results on entity linking and slot filling, by generating disambiguated text. KILT data and code are available at https://github.com/facebookresearch/KILT.
• Abstract（参考訳）: オープンドメインの質問応答、事実チェック、スロット充填、エンティティリンクといった困難な問題は、大きな外部の知識ソースへのアクセスを必要とする。 個々のタスクでうまく機能するモデルもあるが、各タスクに専用のインフラに加えて、独自の知識ソースの計算コストの高いインデックスを必要とするため、一般的なモデルの開発は困難である。 そこで本研究では,大規模テキスト資源の特定情報に係わるモデルについて,知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアと同じスナップショットに基礎を置いており、コンポーネントの再使用によるエンジニアリングのターンアラウンドを減らし、タスクに依存しないメモリアーキテクチャの研究を加速している。 タスク固有のベースラインと一般的なベースラインの両方をテストし、下流のパフォーマンスを評価するとともに、モデルの証明を提供する能力を評価する。 セク2セックモデルと結合した共有密度ベクトル指数は強いベースラインであり, 事実チェック, オープンドメイン質問応答, 対話, および, エンティティリンクとスロットフィリングにおける競合的な結果を得るために, 不明瞭なテキストを生成することにより, より優れた仕上がりのアプローチが得られた。 KILTデータとコードはhttps://github.com/facebookresearch/KILTで入手できる。

関連論文リスト

• MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources [12.783393023641505]
  我々は、MATTERと呼ばれる効率的なメモリ拡張変換器を導入する。 MATTERは、固定長のニューラルメモリの形で、非構造化ソース(パラグラフ)と半構造化ソース(QAペア)の両方から読み取る。 提案モデルでは,従来のQAベンチマークにおいて,精度と速度の両面で,既存の効率的な検索強化モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-07T06:35:37Z)
• TANQ: An open domain dataset of table answered questions [15.323690523538572]
  TANQは、複数のソースにまたがる情報からテーブルを構築する必要がある、最初のオープンドメイン質問応答データセットである。 結果の表にあるすべてのセルに対する完全なソース属性を公開し、オープン、オラクル、クローズドブックのセットアップで最先端の言語モデルをベンチマークします。 最も優れたベースラインであるGPT4は、全体的なF1スコア29.1に達し、人間のパフォーマンスを19.7ポイント遅れています。
  論文  参考訳（メタデータ） (2024-05-13T14:07:20Z)
• Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
  テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。 我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-03-03T03:06:31Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• Long-Tailed Question Answering in an Open World [46.67715607552547]
  我々は、Long-Tailed QA (OLTQA) を、長い尾の分散データから学習するものとして定義する。 OLTQAモデルを提案し,頭,尾,目立たないタスク間の知識共有を促進する。 大規模なOLTQAデータセットでは、我々のモデルは一貫して最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-05-11T04:28:58Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。