論文の概要: Long Document Re-ranking with Modular Re-ranker
- arxiv url: http://arxiv.org/abs/2205.04275v1
- Date: Mon, 9 May 2022 13:44:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 16:19:53.942312
- Title: Long Document Re-ranking with Modular Re-ranker
- Title(参考訳): Modular Re-rankerを用いたLong Document Re- rank
- Authors: Luyu Gao, Jamie Callan
- Abstract要約: BERTのようなディープ言語モデルに基づくニューラルリランカにとって、長いドキュメント再ランクは難しい問題だった。
本稿では,アテンション操作とモジュラートランスフォーマー・リランカ・フレームワークを活用した,完全な問合せ-文書間相互作用のモデル化を提案する。
- 参考スコア(独自算出の注目度): 15.935423344245363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long document re-ranking has been a challenging problem for neural re-rankers
based on deep language models like BERT. Early work breaks the documents into
short passage-like chunks. These chunks are independently mapped to scalar
scores or latent vectors, which are then pooled into a final relevance score.
These encode-and-pool methods however inevitably introduce an information
bottleneck: the low dimension representations. In this paper, we propose
instead to model full query-to-document interaction, leveraging the attention
operation and modular Transformer re-ranker framework. First, document chunks
are encoded independently with an encoder module. An interaction module then
encodes the query and performs joint attention from the query to all document
chunk representations. We demonstrate that the model can use this new degree of
freedom to aggregate important information from the entire document. Our
experiments show that this design produces effective re-ranking on two
classical IR collections Robust04 and ClueWeb09, and a large-scale supervised
collection MS-MARCO document ranking.
- Abstract(参考訳): BERTのようなディープ言語モデルに基づくニューラルリランカにとって、長いドキュメント再ランクは難しい問題だった。
初期の作業では、ドキュメントを短い文節のようなチャンクに分解する。
これらのチャンクは独立してスカラースコアや潜在ベクトルにマッピングされ、最終関連スコアにプールされる。
しかし、これらのエンコード・アンド・プール法は必然的に情報のボトルネック、すなわち低次元表現をもたらす。
本稿では,アテンション操作とモジュール型トランスフォーマー・リランカ・フレームワークを活用した,完全な問合せ-文書間インタラクションのモデル化を提案する。
まず、ドキュメントチャンクはエンコーダモジュールと独立してエンコードされる。
その後、対話モジュールがクエリをエンコードし、クエリからすべてのドキュメントチャンク表現に共同で注目する。
我々は、この新たな自由度を使ってドキュメント全体から重要な情報を収集できることを実証する。
実験の結果、この設計はロバスト04とクリューWeb09の2つの古典的IRコレクションとMS-MARCO文書ランキングを効果的に再ランク付けできることがわかった。
関連論文リスト
- Learning Diverse Document Representations with Deep Query Interactions
for Dense Retrieval [79.37614949970013]
そこで本研究では,問合せの深い文書表現を学習する高密度検索モデルを提案する。
本モデルでは,各文書に生成した擬似クエリをエンコードして,クエリインフォームド・マルチビュー文書表現を得る。
論文 参考訳(メタデータ) (2022-08-08T16:00:55Z) - Does Recommend-Revise Produce Reliable Annotations? An Analysis on
Missing Instances in DocRED [60.39125850987604]
テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。
より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
論文 参考訳(メタデータ) (2022-04-17T11:29:01Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain
Question Answering [68.00631278030627]
検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。
我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
論文 参考訳(メタデータ) (2021-10-08T18:39:59Z) - A Neural Model for Joint Document and Snippet Ranking in Question
Answering for Large Document Collections [9.503056487990959]
共同文書とスニペットランキングのためのアーキテクチャを提案する。
アーキテクチャは汎用的であり、ニューラルテキスト関連ローダで使用することができる。
BIOASQのバイオメディカルデータを用いた実験により,我々の関節モデルはスニペット検索においてパイプラインを大幅に上回っていることがわかった。
論文 参考訳(メタデータ) (2021-06-16T16:04:19Z) - End-to-End Object Detection with Transformers [88.06357745922716]
本稿では,オブジェクト検出を直接セット予測問題とみなす新しい手法を提案する。
我々のアプローチは検出パイプラインを合理化し、手作業で設計された多くのコンポーネントの必要性を効果的に除去する。
この新しいフレームワークの主な構成要素は、Detection TRansformerまたはDETRと呼ばれ、セットベースのグローバルな損失である。
論文 参考訳(メタデータ) (2020-05-26T17:06:38Z) - Recurrent Chunking Mechanisms for Long-Text Machine Reading
Comprehension [59.80926970481975]
機械読解(MRC)を長文で研究する。
モデルは長い文書と質問を入力として取り、回答として文書からテキストを抽出する。
我々は、モデルに強化学習を通じてより柔軟な方法でチャンクを学習させることを提案する。
論文 参考訳(メタデータ) (2020-05-16T18:08:58Z) - Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical
Encoder for Long-Form Document Matching [28.190001111358438]
長文文書マッチングのためのシームズ多層変換器を用いたSMITHを提案する。
我々のモデルには、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新が含まれている。
われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。
論文 参考訳(メタデータ) (2020-04-26T07:04:08Z) - Neural Abstractive Summarization with Structural Attention [31.50918718905953]
このような文間依存関係と文書間依存関係をモデル化するための構造的注意に基づく階層型エンコーダを提案する。
提案手法は,単一文書の要約設定と複数文書の要約設定の両方において,ベースラインよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-04-21T03:39:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。