論文の概要: Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering

• arxiv url: http://arxiv.org/abs/2008.05363v1
• Date: Wed, 12 Aug 2020 14:59:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:39:44.544919
• Title: Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering
• Title（参考訳）: マルチタスク文書ランキングと質問回答のための細粒度関連アノテーション
• Authors: Sebastian Hofst\"atter, Markus Zlabinger, Mete Sertkan, Michael Schr\"oder, Allan Hanbury
• Abstract要約: 本稿では,Fine-Grained Relevancesの新たなデータセットであるFiRAを紹介する。 TREC 2019のディープ・ラーニング・トラックのランク付けされた検索アノテーションは、すべての関連文書のパスレベルとワードグレードの関連アノテーションで拡張する。 例えば、最近導入されたTKL文書ランキングモデルを評価し、TKLは長い文書に対して最先端の検索結果を示すが、多くの関連項目を見逃している。
• 参考スコア（独自算出の注目度）: 9.480648914353035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are many existing retrieval and question answering datasets. However, most of them either focus on ranked list evaluation or single-candidate question answering. This divide makes it challenging to properly evaluate approaches concerned with ranking documents and providing snippets or answers for a given query. In this work, we present FiRA: a novel dataset of Fine-Grained Relevance Annotations. We extend the ranked retrieval annotations of the Deep Learning track of TREC 2019 with passage and word level graded relevance annotations for all relevant documents. We use our newly created data to study the distribution of relevance in long documents, as well as the attention of annotators to specific positions of the text. As an example, we evaluate the recently introduced TKL document ranking model. We find that although TKL exhibits state-of-the-art retrieval results for long documents, it misses many relevant passages.
• Abstract（参考訳）: 既存の検索および質問応答データセットは数多く存在する。 しかし、そのほとんどはランク付けされたリストの評価や、単一候補の質問応答に焦点を当てている。 この分割は、ドキュメントのランク付けに関するアプローチを適切に評価し、与えられたクエリに対するスニペットや回答を提供することを難しくする。 本稿では,Fine-Grained Relevance Annotationsの新たなデータセットであるFiRAを紹介する。 TREC 2019のディープ・ラーニング・トラックのランク付けされた検索アノテーションは、すべての関連文書のパスレベルとワードグレードの関連アノテーションで拡張する。 我々は、新たに作成したデータを用いて、長い文書における関連性の分布と、テキストの特定の位置に対するアノテータの注意を調査する。 例えば、最近導入されたTKL文書ランキングモデルを評価する。 その結果,TKLは長い文書に対して最先端の検索結果を示すが,多くの関連項目を見逃していることがわかった。

関連論文リスト

• Attention Sorting Combats Recency Bias In Long Context Language Models [69.06809365227504]
  現在の言語モデルは、世代間の長いコンテキストを効率的に組み込むことができないことが多い。 この問題に対する主要なコントリビュータは,事前トレーニング中に学んだと思われる注意点である。 我々は、この事実を活用して注意ソートを導入する:1ステップのデコードを実行し、それらが受け取った注意によって文書をソートし、プロセスを繰り返し、新しくソートされたコンテキストで回答を生成する。
  論文  参考訳（メタデータ） (2023-09-28T05:19:06Z)
• PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
  構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
  論文  参考訳（メタデータ） (2023-09-16T04:29:05Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)
• Open Domain Multi-document Summarization: A Comprehensive Study of Model Brittleness under Retrieval [42.73076855699184]
  マルチドキュメント要約(MDS)は、一連のトピック関連の文書が入力として提供されると仮定する。 タスクを形式化し、既存のデータセット、レトリバー、要約器を使ってブートストラップすることで、より困難な設定について研究する。
  論文  参考訳（メタデータ） (2022-12-20T18:41:38Z)
• Cross-document Event Coreference Search: Task, Dataset and Modeling [26.36068336169796]
  我々は、タスクのために、魅力的な、より適用可能な補完的な設定 - クロスドキュメントの参照検索を提案する。 このタスクの研究を支援するために、Wikipediaから派生した対応するデータセットを作成します。 本稿では,強力なコア参照スコアリング方式をDPRアーキテクチャに統合し,性能を向上する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-23T08:21:25Z)
• End-to-End Multihop Retrieval for Compositional Question Answering over Long Documents [93.55268936974971]
  本稿では,長い文書の合成問題に答えるマルチホップ検索手法であるDocHopperを提案する。 各ステップでDocHopperは文書から段落や文を検索し、検索した結果とクエリを混合し、次のステップでクエリを更新する。 文書構造を活用すれば、長い文書の質問応答や検索性能を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-01T03:13:35Z)
• D2S: Document-to-Slide Generation Via Query-Based Text Summarization [27.576875048631265]
  我々は、最近のNLPおよびMLカンファレンスの論文とそれに対応するスライドデッキからなる新しいデータセット、SciDuetをコントリビュートする。 第2に,文書からスライドまでのタスクに2段階のアプローチで取り組む新しいシステムD2Sを提案する。 私たちの評価は、長期形式のQAは、自動化されたROUGEメトリクスと定性的な人間評価の両方の最先端の要約ベースラインを上回ることを示唆しています。
  論文  参考訳（メタデータ） (2021-05-08T10:29:41Z)
• CSFCube -- A Test Collection of Computer Science Research Articles for Faceted Query by Example [43.01717754418893]
  例によるフェーステッドクエリのタスクを紹介します。 ユーザは、入力クエリドキュメントに加えて、より細かいアスペクトを指定することもできる。 我々は,クエリ科学論文に類似した科学的論文を検索できるモデルを構想する。
  論文  参考訳（メタデータ） (2021-03-24T01:02:12Z)
• Knowledge-Aided Open-Domain Question Answering [58.712857964048446]
  本稿では,知識支援型オープンドメインQA(KAQA)手法を提案する。 文書検索の際、質問と他の文書との関係を考慮し、候補文書を採点する。 回答の再ランク付けの間、候補の回答は、自身のコンテキストだけでなく、他の文書からのヒントを使って再ランクされる。
  論文  参考訳（メタデータ） (2020-06-09T13:28:57Z)
• Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
  TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。 本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
  論文  参考訳（メタデータ） (2020-03-25T21:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。