論文の概要: Efficient Title Reranker for Fast and Improved Knowledge-Intense NLP
- arxiv url: http://arxiv.org/abs/2312.12430v2
- Date: Wed, 20 Dec 2023 03:33:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 12:27:17.899742
- Title: Efficient Title Reranker for Fast and Improved Knowledge-Intense NLP
- Title(参考訳): 高速かつ改良された知識センスNLPのための効率的なタイトルリランカ
- Authors: Ziyi Chen, Heyi Tao, Daqian Zuo, Jize Jiang, Jun Yang, Yuxiang Wei
- Abstract要約: 本稿では,バニラ通過リランカよりも20x-40倍高速なタイトルリランクを実現する新しいタイトルリランク技術であるBroadcasting Queryを用いて,効率の良いタイトルリランカを提案する。
Efficient Title Rerankerのトレーニングの課題のひとつは、不安定性だ。
Sigmoid Trick(シグモイド・トリック)は, 両症例の勾配更新を低減し, 検索効率を向上する手法である。
- 参考スコア(独自算出の注目度): 6.407528220264765
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Efficient Title Reranker via Broadcasting Query Encoder, a novel
title reranking technique to achieve efficient title reranking 20x-40x faster
than vanilla passage reranker. However, one of the challenges with the training
of Efficient Title Reranker is the instability. Analyzing the issue, we found
some very difficult ground truths might act as noisy labels causing accuracy to
drop as well as some extreme values in model probability output causing nan. To
address these issues, we introduce the Sigmoid Trick, a novel technique that
reduces the gradient update of both cases resulting in better retrieval
efficacy. Experiments showed the effectiveness of ETR and sigmoid trick as we
achieved four state-of-the-art positions on the kilt knowledge benchmark.
- Abstract(参考訳): 本稿では,放送クエリエンコーダを用いて,バニラパスリランカよりも20x-40倍高速なタイトルリランクを実現する新しいタイトルリランク技術を提案する。
しかしながら、効率的なタイトルリランカのトレーニングの課題の1つは不安定性である。
この問題を分析して,ノイズラベルとして振る舞う非常に難しい事実や,モデル確率アウトプットの極端な値がnanの原因であることが分かりました。
これらの問題に対処するため,我々はsgmoid trickを紹介する。sgmoid trickは,両症例の勾配更新を低減し,検索効率が向上する新しい手法である。
ETRとシグモイドのトリックの有効性を示す実験を行い,キルト知識ベンチマークで4つの最先端位置を達成した。
関連論文リスト
- RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval [26.527911244587134]
本稿では,テキストの集合体への埋め込み,クラスタリング,要約という新たなアプローチを導入し,下から異なるレベルの要約レベルを持つ木を構築する。
我々のRAPTORモデルは、推測時にこの木から取得し、異なるレベルの抽象化で長いドキュメントにまたがる情報を統合します。
論文 参考訳(メタデータ) (2024-01-31T18:30:21Z) - Lexically-Accelerated Dense Retrieval [29.327878974130055]
LADR (Lexically-Accelerated Dense Retrieval) は, 既存の高密度検索モデルの効率を向上する, 簡便な手法である。
LADRは、標準ベンチマークでの徹底的な検索と同等の精度とリコールの両方を一貫して達成する。
論文 参考訳(メタデータ) (2023-07-31T15:44:26Z) - Inference-time Re-ranker Relevance Feedback for Neural Information
Retrieval [84.20748790986131]
検索と参照のフレームワークは、まずK(例えば100)候補を検索し、次により強力なクロスエンコーダモデルを使って上位の候補をランク付けする。
リランカは一般的に、レトリバーよりも優れた候補スコアを生成するが、トップKのみの検索に限られる。
本研究では、リランカを活用して、推論時間関連性フィードバックを検索者に提供することにより、検索を改善する。
論文 参考訳(メタデータ) (2023-05-19T15:30:33Z) - Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。
CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。
MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
論文 参考訳(メタデータ) (2023-04-06T22:16:53Z) - Q-DETR: An Efficient Low-Bit Quantized Detection Transformer [50.00784028552792]
Q-DETRのボトルネックは、我々の経験的分析によるクエリ情報の歪みから生じる。
情報ボトルネック(IB)の原理をQ-DETRの学習に一般化することで導出できる2レベル最適化問題としてDRDを定式化する。
本研究では,教師情報を蒸留所要の機能に効果的に転送し,条件情報エントロピーを最小化する,フォアグラウンド対応クエリマッチング手法を提案する。
論文 参考訳(メタデータ) (2023-04-01T08:05:14Z) - Optimizing Test-Time Query Representations for Dense Retrieval [34.61821330771046]
TOURは、テスト時間検索の結果によってガイドされるクエリ表現を改善する。
我々は、クロスエンコーダのリランカを利用して、検索結果よりもきめ細かい擬似ラベルを提供する。
TOURは1.3-2.4倍高速で実行しながら、常に最大2.0%のダイレクトリランクを改善する。
論文 参考訳(メタデータ) (2022-05-25T11:39:42Z) - KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain
Question Answering [68.00631278030627]
検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。
我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
論文 参考訳(メタデータ) (2021-10-08T18:39:59Z) - Phrase Retrieval Learns Passage Retrieval, Too [77.57208968326422]
文節検索が,文節や文書を含む粗いレベルの検索の基盤となるかを検討する。
句検索システムでは,句検索の精度が向上し,句検索の精度が向上していることを示す。
また,句のフィルタリングやベクトル量子化により,インデックスのサイズを4~10倍に削減できることを示す。
論文 参考訳(メタデータ) (2021-09-16T17:42:45Z) - TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。
提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。
提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
論文 参考訳(メタデータ) (2021-04-16T17:55:28Z) - Re-ranking for Writer Identification and Writer Retrieval [8.53463698903858]
我々は,k-相反的近傍関係に基づく再ランクステップが,著者識別に有利であることを示す。
これらの相互関係は、もともと提案されたような新しいベクトルにエンコードするか、クエリ拡張の観点でそれらを統合するかの2つの方法で利用します。
論文 参考訳(メタデータ) (2020-07-14T15:21:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。