論文の概要: Efficient Title Reranker for Fast and Improved Knowledge-Intense NLP

• arxiv url: http://arxiv.org/abs/2312.12430v3
• Date: Sun, 25 Feb 2024 21:51:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 18:48:32.257975
• Title: Efficient Title Reranker for Fast and Improved Knowledge-Intense NLP
• Title（参考訳）: 高速かつ改良された知識センスNLPのための効率的なタイトルリランカ
• Authors: Ziyi Chen, Jize Jiang, Daqian Zuo, Heyi Tao, Jun Yang, Yuxiang Wei
• Abstract要約: 既存のリランカは、クエリと大量の長い検索されたテキストを繰り返しエンコードする必要がある。 本稿では,バニラ通過リランカ上で20x-40倍の高速化を実現するタイトルリグレードの新技術であるブロードキャスティングクエリ(Broadcasting Query)を用いて,効率的なタイトルリランカを提案する。 KILTナレッジベンチマークを用いて,実験した4つのデータセットすべてに対して,その有効性を実証的に検証した。
• 参考スコア（独自算出の注目度）: 6.407528220264765
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent RAG approaches, rerankers play a pivotal role in refining retrieval accuracy with the ability of revealing logical relations for each pair of query and text. However, existing rerankers are required to repeatedly encode the query and a large number of long retrieved text. This results in high computational costs and limits the number of retrieved text, hindering accuracy. As a remedy of the problem, we introduce the Efficient Title Reranker via Broadcasting Query Encoder, a novel technique for title reranking that achieves a 20x-40x speedup over the vanilla passage reranker. Furthermore, we introduce Sigmoid Trick, a novel loss function customized for title reranking. Combining both techniques, we empirically validated their effectiveness, achieving state-of-the-art results on all four datasets we experimented with from the KILT knowledge benchmark.
• Abstract（参考訳）: 近年のragアプローチでは,検索精度の向上に重要な役割を担い,クエリとテキストの各ペアの論理関係を明らかにする。 しかし、既存のリランカは、クエリと大量の長い検索されたテキストを繰り返しエンコードする必要がある。 これにより計算コストが高くなり、検索されたテキストの数を制限し、精度を損なう。 この問題に対処するため,ブロードキャストクエリエンコーダという,バニラ通路レンコーダの20x-40倍の高速化を実現する新たなタイトルランク付け手法により,効率的なタイトルランク付けを実現する。 さらに、タイトルリランク用にカスタマイズされた新しい損失関数であるSigmoid Trickを紹介する。 両者の手法を組み合わせることで、KILT知識ベンチマークから実験した4つのデータセットすべてに対して、最先端の成果が得られたことを実証的に検証した。

関連論文リスト

• Learning Robust Named Entity Recognizers From Noisy Data With Retrieval Augmentation [67.89838237013078]
  名前付きエンティティ認識(NER)モデルは、しばしばノイズの多い入力に悩まされる。 ノイズの多いテキストとそのNERラベルのみを利用できる、より現実的な設定を提案する。 我々は、推論中にテキストを取得することなく、堅牢なNERを改善するマルチビュートレーニングフレームワークを採用している。
  論文  参考訳（メタデータ） (2024-07-26T07:30:41Z)
• Efficient Inverted Indexes for Approximate Retrieval over Learned Sparse Representations [8.796275989527054]
  本稿では,学習したスパース埋め込みを高速に検索できる逆インデックスの新たな組織を提案する。 提案手法では,逆リストを幾何学的に結合したブロックに整理し,それぞれに要約ベクトルを備える。 以上の結果から, 地震動は, 最先端の逆インデックスベースソリューションよりも1～2桁高速であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-29T15:49:27Z)
• RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval [26.527911244587134]
  本稿では,テキストの集合体への埋め込み,クラスタリング,要約という新たなアプローチを導入し,下から異なるレベルの要約レベルを持つ木を構築する。 我々のRAPTORモデルは、推測時にこの木から取得し、異なるレベルの抽象化で長いドキュメントにまたがる情報を統合します。
  論文  参考訳（メタデータ） (2024-01-31T18:30:21Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Q-DETR: An Efficient Low-Bit Quantized Detection Transformer [50.00784028552792]
  Q-DETRのボトルネックは、我々の経験的分析によるクエリ情報の歪みから生じる。 情報ボトルネック(IB)の原理をQ-DETRの学習に一般化することで導出できる2レベル最適化問題としてDRDを定式化する。 本研究では,教師情報を蒸留所要の機能に効果的に転送し,条件情報エントロピーを最小化する,フォアグラウンド対応クエリマッチング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:05:14Z)
• Optimizing Test-Time Query Representations for Dense Retrieval [34.61821330771046]
  TOURは、テスト時間検索の結果によってガイドされるクエリ表現を改善する。 我々は、クロスエンコーダのリランカを利用して、検索結果よりもきめ細かい擬似ラベルを提供する。 TOURは1.3-2.4倍高速で実行しながら、常に最大2.0%のダイレクトリランクを改善する。
  論文  参考訳（メタデータ） (2022-05-25T11:39:42Z)
• KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering [68.00631278030627]
  検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。 我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
  論文  参考訳（メタデータ） (2021-10-08T18:39:59Z)
• TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
  本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。 提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。 提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
  論文  参考訳（メタデータ） (2021-04-16T17:55:28Z)
• Re-ranking for Writer Identification and Writer Retrieval [8.53463698903858]
  我々は,k-相反的近傍関係に基づく再ランクステップが,著者識別に有利であることを示す。 これらの相互関係は、もともと提案されたような新しいベクトルにエンコードするか、クエリ拡張の観点でそれらを統合するかの2つの方法で利用します。
  論文  参考訳（メタデータ） (2020-07-14T15:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。