論文の概要: Dynamic Injection of Entity Knowledge into Dense Retrievers

• arxiv url: http://arxiv.org/abs/2507.03922v1
• Date: Sat, 05 Jul 2025 07:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.937617
• Title: Dynamic Injection of Entity Knowledge into Dense Retrievers
• Title（参考訳）: デンスレトリバーへのエンティティ知識の動的注入
• Authors: Ikuya Yamada, Ryokan Ri, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo,
• Abstract要約: Knowledgeable Passage Retriever (KPR)は、BERTベースのレトリバーで、コンテキスト中心の注意層と動的にアップダブルなエンティティの埋め込みによって拡張されている。 3つのデータセットの実験は、KPRが常に検索精度を向上し、KPR拡張なしでモデル上でEntityQuestionsデータセットで実質12.6%のゲインを達成していることを示している。
• 参考スコア（独自算出の注目度）: 42.16594483289919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense retrievers often struggle with queries involving less-frequent entities due to their limited entity knowledge. We propose the Knowledgeable Passage Retriever (KPR), a BERT-based retriever enhanced with a context-entity attention layer and dynamically updatable entity embeddings. This design enables KPR to incorporate external entity knowledge without retraining. Experiments on three datasets show that KPR consistently improves retrieval accuracy, achieving a substantial 12.6% gain on the EntityQuestions dataset over the model without KPR extensions. When built on the off-the-shelf bge-base retriever, KPR achieves state-of-the-art performance among similarly sized models on two datasets. Code and models will be released soon.
• Abstract（参考訳）: デンスレトリバーは、エンティティの知識が限られているため、頻度の低いエンティティを含むクエリに苦労することが多い。 本稿では,BERTベースの検索システムであるKPR(Knowledgeable Passage Retriever)を提案する。 この設計により、KPRは再トレーニングなしに外部エンティティ知識を組み込むことができる。 3つのデータセットの実験は、KPRが常に検索精度を向上し、KPR拡張なしでモデル上でEntityQuestionsデータセットで実質12.6%のゲインを達成していることを示している。 既製のbgeベースレトリバー上に構築されると、KPRは2つのデータセット上の同様のサイズのモデル間で最先端のパフォーマンスを達成する。 コードとモデルはまもなくリリースされる。

関連論文リスト

• Revela: Dense Retriever Learning via Language Modeling [85.12131321155486]
  本稿では,言語モデリングによる自己教師型検索学習のための統合学習フレームワークであるRevelaを紹介する。 一般ドメイン (BEIR) とドメイン固有 (CoIR) のベンチマークで様々なバックボーン上でRevelaを評価する。
  論文  参考訳（メタデータ） (2025-06-19T19:13:59Z)
• Pre-training vs. Fine-tuning: A Reproducibility Study on Dense Retrieval Knowledge Acquisition [28.48078856765935]
  デンスレトリバーは、コントラスト学習によって微調整された事前訓練されたバックボーン言語モデル(BERT、LLaMAなど)を使用して、テキストをセンス表現に符号化するタスクを実行する。 近年の研究では、高密度レトリバーにおける微調整と事前学習の役割に疑問が呈されている。 本研究は、DPRチューニングにおいて、事前学習した知識は、知識を再編成するのではなく、主にニューロンの活性化を調整し、検索性能を支えていることを確認した。
  論文  参考訳（メタデータ） (2025-05-12T01:24:00Z)
• ReasonIR: Training Retrievers for Reasoning Tasks [139.54343970560103]
  ReasonIR-8Bは一般的な推論タスクのために特別に訓練された最初のレトリバーである。 新たに29.9 nDCG@10をリランカなしで、36.9 nDCG@10をリランカで達成している。
  論文  参考訳（メタデータ） (2025-04-29T09:49:28Z)
• Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models [29.934928091542375]
  大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。 本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
  論文  参考訳（メタデータ） (2025-03-19T04:30:20Z)
• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)
• AugTriever: Unsupervised Dense Retrieval and Domain Adaptation by Scalable Data Augmentation [44.93777271276723]
  擬似クエリドキュメントペアを作成することにより,アノテーションフリーでスケーラブルなトレーニングを可能にする2つのアプローチを提案する。 クエリ抽出方法は、元のドキュメントから有能なスパンを選択して擬似クエリを生成する。 転送クエリ生成方法は、要約などの他のNLPタスクのために訓練された生成モデルを使用して、擬似クエリを生成する。
  論文  参考訳（メタデータ） (2022-12-17T10:43:25Z)
• Learning to Retrieve Passages without Supervision [58.31911597824848]
  オープンドメイン質問応答(ODQA)のためのダンスレトリバーは,問合せペアの大規模データセットをトレーニングすることで,優れた性能を発揮することが示されている。 そこで本研究では,自己教師型で高密度検索が学べるかどうかを考察し,アノテーションを使わずに効果的に適用する。
  論文  参考訳（メタデータ） (2021-12-14T19:18:08Z)
• AutoRC: Improving BERT Based Relation Classification Models via Architecture Search [50.349407334562045]
  BERTに基づく関係分類(RC)モデルは、従来のディープラーニングモデルよりも大幅に改善されている。 最適なアーキテクチャとは何かという合意は得られない。 BERTをベースとしたRCモデルのための包括的検索空間を設計し、設計選択を自動的に検出するためにNAS(Neural Architecture Search)手法を用いる。
  論文  参考訳（メタデータ） (2020-09-22T16:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。