論文の概要: Efficient Title Reranker for Fast and Improved Knowledge-Intense NLP

• arxiv url: http://arxiv.org/abs/2312.12430v1
• Date: Tue, 19 Dec 2023 18:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 14:29:01.455454
• Title: Efficient Title Reranker for Fast and Improved Knowledge-Intense NLP
• Title（参考訳）: 高速かつ改良された知識センスNLPのための効率的なタイトルリランカ
• Authors: Ziyi Chen, Heyi Tao, Daqian Zuo, Jize Jiang, Yang Jun, Yuxiang Wei
• Abstract要約: 本稿では,バニラ通過リランカよりも20x-40倍高速なタイトルリランクを実現する新しいタイトルリランク技術であるBroadcasting Queryを用いて,効率の良いタイトルリランカを提案する。 Efficient Title Rerankerのトレーニングの課題のひとつは、不安定性だ。 Sigmoid Trick(シグモイド・トリック)は, 両症例の勾配更新を低減し, 検索効率を向上する手法である。
• 参考スコア（独自算出の注目度）: 4.1828114963653285
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Efficient Title Reranker via Broadcasting Query Encoder, a novel title reranking technique to achieve efficient title reranking 20x-40x faster than vanilla passage reranker. However, one of the challenges with the training of Efficient Title Reranker is the instability. Analyzing the issue, we found some very difficult ground truths might act as noisy labels causing accuracy to drop as well as some extreme values in model probability output causing nan. To address these issues, we introduce the Sigmoid Trick, a novel technique that reduces the gradient update of both cases resulting in better retrieval efficacy. Experiments showed the effectiveness of ETR and sigmoid trick as we achieved four state-of-the-art positions on the kilt knowledge benchmark.
• Abstract（参考訳）: 本稿では,放送クエリエンコーダを用いて,バニラパスリランカよりも20x-40倍高速なタイトルリランクを実現する新しいタイトルリランク技術を提案する。 しかしながら、効率的なタイトルリランカのトレーニングの課題の1つは不安定性である。 この問題を分析して,ノイズラベルとして振る舞う非常に難しい事実や,モデル確率アウトプットの極端な値がnanの原因であることが分かりました。 これらの問題に対処するため,我々はsgmoid trickを紹介する。sgmoid trickは,両症例の勾配更新を低減し,検索効率が向上する新しい手法である。 ETRとシグモイドのトリックの有効性を示す実験を行い,キルト知識ベンチマークで4つの最先端位置を達成した。

関連論文リスト

• Learning Robust Named Entity Recognizers From Noisy Data With Retrieval Augmentation [67.89838237013078]
  名前付きエンティティ認識(NER)モデルは、しばしばノイズの多い入力に悩まされる。 ノイズの多いテキストとそのNERラベルのみを利用できる、より現実的な設定を提案する。 我々は、推論中にテキストを取得することなく、堅牢なNERを改善するマルチビュートレーニングフレームワークを採用している。
  論文  参考訳（メタデータ） (2024-07-26T07:30:41Z)
• Efficient Inverted Indexes for Approximate Retrieval over Learned Sparse Representations [8.796275989527054]
  本稿では,学習したスパース埋め込みを高速に検索できる逆インデックスの新たな組織を提案する。 提案手法では,逆リストを幾何学的に結合したブロックに整理し,それぞれに要約ベクトルを備える。 以上の結果から, 地震動は, 最先端の逆インデックスベースソリューションよりも1～2桁高速であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-29T15:49:27Z)
• RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval [26.527911244587134]
  本稿では,テキストの集合体への埋め込み,クラスタリング,要約という新たなアプローチを導入し,下から異なるレベルの要約レベルを持つ木を構築する。 我々のRAPTORモデルは、推測時にこの木から取得し、異なるレベルの抽象化で長いドキュメントにまたがる情報を統合します。
  論文  参考訳（メタデータ） (2024-01-31T18:30:21Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Q-DETR: An Efficient Low-Bit Quantized Detection Transformer [50.00784028552792]
  Q-DETRのボトルネックは、我々の経験的分析によるクエリ情報の歪みから生じる。 情報ボトルネック(IB)の原理をQ-DETRの学習に一般化することで導出できる2レベル最適化問題としてDRDを定式化する。 本研究では,教師情報を蒸留所要の機能に効果的に転送し,条件情報エントロピーを最小化する,フォアグラウンド対応クエリマッチング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:05:14Z)
• Optimizing Test-Time Query Representations for Dense Retrieval [34.61821330771046]
  TOURは、テスト時間検索の結果によってガイドされるクエリ表現を改善する。 我々は、クロスエンコーダのリランカを利用して、検索結果よりもきめ細かい擬似ラベルを提供する。 TOURは1.3-2.4倍高速で実行しながら、常に最大2.0%のダイレクトリランクを改善する。
  論文  参考訳（メタデータ） (2022-05-25T11:39:42Z)
• KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering [68.00631278030627]
  検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。 我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
  論文  参考訳（メタデータ） (2021-10-08T18:39:59Z)
• TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
  本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。 提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。 提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
  論文  参考訳（メタデータ） (2021-04-16T17:55:28Z)
• Re-ranking for Writer Identification and Writer Retrieval [8.53463698903858]
  我々は,k-相反的近傍関係に基づく再ランクステップが,著者識別に有利であることを示す。 これらの相互関係は、もともと提案されたような新しいベクトルにエンコードするか、クエリ拡張の観点でそれらを統合するかの2つの方法で利用します。
  論文  参考訳（メタデータ） (2020-07-14T15:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。