論文の概要: PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense
Passage Retrieval
- arxiv url: http://arxiv.org/abs/2108.06027v1
- Date: Fri, 13 Aug 2021 02:07:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-16 13:13:32.507659
- Title: PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense
Passage Retrieval
- Title(参考訳): PAIR:Dense Passage Retrieval改善のためのPAIR-Centric similarity Relationの活用
- Authors: Ruiyang Ren, Shangwen Lv, Yingqi Qu, Jing Liu, Wayne Xin Zhao,
QiaoQiao She, Hua Wu, Haifeng Wang, Ji-Rong Wen
- Abstract要約: 本稿では,クエリ中心とPAssage中心のsmilarity Relations(PAIR)を併用した新しい手法を提案する。
本稿では,2種類の類似性関係の形式的定式化を導入することにより,3つの主要な技術的貢献を行う。
MSMARCOとNatural Questionsの両方のデータセットにおいて、従来の最先端モデルよりも大幅に優れています。
- 参考スコア(独自算出の注目度): 48.59851873857101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, dense passage retrieval has become a mainstream approach to finding
relevant information in various natural language processing tasks. A number of
studies have been devoted to improving the widely adopted dual-encoder
architecture. However, most of the previous studies only consider query-centric
similarity relation when learning the dual-encoder retriever. In order to
capture more comprehensive similarity relations, we propose a novel approach
that leverages both query-centric and PAssage-centric sImilarity Relations
(called PAIR) for dense passage retrieval. To implement our approach, we make
three major technical contributions by introducing formal formulations of the
two kinds of similarity relations, generating high-quality pseudo labeled data
via knowledge distillation, and designing an effective two-stage training
procedure that incorporates passage-centric similarity relation constraint.
Extensive experiments show that our approach significantly outperforms previous
state-of-the-art models on both MSMARCO and Natural Questions datasets.
- Abstract(参考訳): 近年,様々な自然言語処理タスクにおいて,関連する情報を見つけるために,高密度経路探索が主流となっている。
広く採用されているデュアルエンコーダアーキテクチャの改善に多くの研究が費やされている。
しかし、従来の研究の多くは、二重エンコーダレトリバーを学習する際にのみ、クエリ中心の類似性関係を考察している。
より包括的類似性関係を捉えるために,クエリ中心とPAssage中心のsマイクロラリティ関係(PAIR)を併用した新しい手法を提案する。
本手法を実践するために, 2種類の類似関係の形式的定式化, 知識蒸留による高品質擬似ラベルデータの生成, 通路中心の類似関係制約を組み込んだ効果的な2段階学習手順の設計という3つの大きな技術的貢献を行った。
広範な実験により,msmarco と natural questions のデータセットでは,従来の最先端モデルを大きく上回っていることがわかった。
関連論文リスト
- Learning to Maximize Mutual Information for Chain-of-Thought
Distillation [14.47452997404004]
CoT蒸留を利用した新しい手法であるDistilling Step-by-Step (DSS) は、より大型のモデルに対して優れた推論能力を持つ小型モデルを投入することで、約束を証明している。
しかし、DSSは2つのトレーニングタスクの本質的な関係を見落とし、CoT知識とラベル予測のタスクの非効率な統合につながる。
本稿では,この最適化問題を学習に基づく手法を用いて解くための変分手法を提案する。
論文 参考訳(メタデータ) (2024-03-05T22:21:45Z) - I$^2$MD: 3D Action Representation Learning with Inter- and Intra-modal
Mutual Distillation [147.2183428328396]
一般のモード内相互蒸留(I$2$MD)フレームワークを紹介する。
In 2$MD, we first-formulate the cross-modal interaction as a cross-modal Mutual Distillation (CMD) process。
類似したサンプルの干渉を緩和し,その基盤となるコンテキストを活用するため,モーダル・ミューチュアル蒸留(IMD)戦略をさらに設計する。
論文 参考訳(メタデータ) (2023-10-24T07:22:17Z) - A Pairing Enhancement Approach for Aspect Sentiment Triplet Extraction [3.5838781091072143]
Aspect Sentiment Triplet extractは、アスペクト項、意見項、およびそれらの対応する感情極性の三重項をレビューテキストから抽出することを目的としている。
言語の複雑さと一つの文に複数のアスペクト項と意見項が存在するため、現在のモデルはアスペクト項とそれを記述する意見項の関連を混乱させることが多い。
本稿では,三重項抽出モデルにアスペクト対ペアリング知識を注入するために,訓練段階におけるコントラスト学習を取り入れたASTEのペアリング強化手法を提案する。
論文 参考訳(メタデータ) (2023-06-11T07:32:10Z) - Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis [89.04041100520881]
本研究は,対象物,文,画像全体に基づいて,テキストおよび視覚的証拠を検索することを提案する。
我々は,オブジェクトレベル,画像レベル,文レベル情報を合成し,同一性と異なるモダリティ間の推論を改善する新しい手法を開発した。
論文 参考訳(メタデータ) (2023-05-25T15:26:13Z) - Document-level Relation Extraction with Relation Correlations [15.997345900917058]
文書レベルの関係抽出は,長期問題と複数ラベル問題という,見落とされた2つの課題に直面している。
関係の共起相関を解析し,DocREタスクに初めて導入する。
論文 参考訳(メタデータ) (2022-12-20T11:17:52Z) - RocketQAv2: A Joint Training Method for Dense Passage Retrieval and
Passage Re-ranking [89.82301733609279]
本稿では,高密度経路検索と再ランク付けのための新しい共同学習手法を提案する。
主な貢献は、動的リストワイズ蒸留を導入し、レトリバーと再ランカの両方に統一されたリストワイズトレーニングアプローチを設計することである。
ダイナミック蒸留中は、レトリバーとリランカは、互いの関連情報に応じて適応的に改善することができる。
論文 参考訳(メタデータ) (2021-10-14T13:52:55Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳(メタデータ) (2021-09-24T17:37:35Z) - Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot
Relational Triple Extraction [40.00702385889112]
本稿では,関係三重項の合成を共同で抽出する,新しいマルチプロトタイプ埋め込みネットワークモデルを提案する。
我々は、エンティティとリレーションの両方に関するテキストと知識を橋渡しするハイブリッド学習機構を設計する。
実験により, 提案手法は, 数発トリプル抽出の性能を向上させることができることを示した。
論文 参考訳(メタデータ) (2020-10-30T04:18:39Z) - Learning to Decouple Relations: Few-Shot Relation Classification with
Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。
一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。
一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
論文 参考訳(メタデータ) (2020-10-21T11:07:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。