論文の概要: Hyperlink-induced Pre-training for Passage Retrieval in Open-domain Question Answering

• arxiv url: http://arxiv.org/abs/2203.06942v1
• Date: Mon, 14 Mar 2022 09:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 03:53:32.004332
• Title: Hyperlink-induced Pre-training for Passage Retrieval in Open-domain Question Answering
• Title（参考訳）: オープンドメイン質問応答におけるハイパーリンクによる経路検索事前学習
• Authors: Jiawei Zhou, Xiaoguang Li, Lifeng Shang, Lan Luo, Ke Zhan, Enrui Hu, Xinyu Zhang, Hao Jiang, Zhao Cao, Fan Yu, Xin Jiang, Qun Liu, Lei Chen
• Abstract要約: HyperLink-induced Pre-training (HLP) は、Webドキュメント内のハイパーリンクベースのトポロジーによって引き起こされるテキスト関連性によって、高密度検索を事前訓練する手法である。 本稿では,双対リンクとコメンテーションのハイパーリンクに基づく構造が,大規模事前学習に有効であることを示す。
• 参考スコア（独自算出の注目度）: 53.381467950545606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To alleviate the data scarcity problem in training question answering systems, recent works propose additional intermediate pre-training for dense passage retrieval (DPR). However, there still remains a large discrepancy between the provided upstream signals and the downstream question-passage relevance, which leads to less improvement. To bridge this gap, we propose the HyperLink-induced Pre-training (HLP), a method to pre-train the dense retriever with the text relevance induced by hyperlink-based topology within Web documents. We demonstrate that the hyperlink-based structures of dual-link and co-mention can provide effective relevance signals for large-scale pre-training that better facilitate downstream passage retrieval. We investigate the effectiveness of our approach across a wide range of open-domain QA datasets under zero-shot, few-shot, multi-hop, and out-of-domain scenarios. The experiments show our HLP outperforms the BM25 by up to 7 points as well as other pre-training methods by more than 10 points in terms of top-20 retrieval accuracy under the zero-shot scenario. Furthermore, HLP significantly outperforms other pre-training methods under the other scenarios.
• Abstract（参考訳）: 訓練質問応答システムにおけるデータ不足問題を軽減するため,近年の研究では,高密度経路探索(DPR)のための中間的事前学習を提案する。 しかし、提供された上流信号と下流の問合せ関連性との間には大きな違いが残っており、改善は少ない。 このギャップを埋めるために、Webドキュメント内のハイパーリンクベースのトポロジによって引き起こされるテキスト関連性を用いて、高密度検索者の事前学習を行うHyperLink-induced Pre-training (HLP)を提案する。 双対リンクとコメンテーションのハイパーリンクに基づく構造は,下流経路の検索をより容易な大規模事前学習に有効な関連信号を提供できることを示す。 我々は、ゼロショット、少数ショット、マルチホップ、ドメイン外シナリオの下で、幅広いオープンドメインqaデータセットにわたるアプローチの有効性を調べます。 実験の結果,HLPはBM25を最大7点,事前学習法を10点以上,ゼロショットシナリオ下では上位20点の精度で上回っていることがわかった。 さらに、HLPは他のシナリオでの事前学習方法よりも大幅に優れています。

関連論文リスト

• Improve Dense Passage Retrieval with Entailment Tuning [22.39221206192245]
  検索システムの鍵となるのは、クエリとパスペアの関連スコアを計算することである。 我々は、NLIタスクにおけるエンテーメントの概念と、関連性の主要なクラスが一致していることを観察した。 我々は,高密度レトリバーの埋め込みを改善するために,エンテーメントチューニングと呼ばれる手法を設計する。
  論文  参考訳（メタデータ） (2024-10-21T09:18:30Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• Robustifying DARTS by Eliminating Information Bypass Leakage via Explicit Sparse Regularization [8.93957397187611]
  微分可能なアーキテクチャサーチ (DARTS) は有望なエンドツーエンドNAS手法である。 最近の研究では、DARTSの基本的な仮説に疑問が投げかけられている。 そこで本研究では, DARTS を頑健化するための新しいスパース規則化近似と混合スパース性学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T04:11:37Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Causal Document-Grounded Dialogue Pre-training [81.16429056652483]
  百万レベルのDocGD事前学習コーパスを構築するための因果完全データセット構築戦略を提案する。 3つのベンチマークデータセットの実験により、我々の因果前トレーニングは、完全な教師付き、低リソース、少数ショット、ゼロショット設定の下で、かなり、一貫した改善を達成できることが示された。
  論文  参考訳（メタデータ） (2023-05-18T12:39:25Z)
• Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction [52.63663547523033]
  マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。 異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
  論文  参考訳（メタデータ） (2023-02-13T18:42:17Z)
• Query-as-context Pre-training for Dense Passage Retrieval [27.733665432319803]
  文脈教師付き事前学習を用いて,高密度経路探索の性能向上のための手法が開発されている。 本稿では,クエリ・アズ・コンテクスト事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T16:34:19Z)
• Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning [10.457660611114457]
  オフライン強化学習において、異なるトレーニングアルゴリズムによって生成される価値関数とポリシーの選択方法を示す。 我々は,近年の値関数選択の理論的進歩であるBVFT[XJ21]を用いて,Atariなどの離散作用ベンチマークにおいて,その有効性を示す。
  論文  参考訳（メタデータ） (2021-10-26T20:12:11Z)
• Few-Shot Bayesian Optimization with Deep Kernel Surrogates [7.208515071018781]
  本研究では,新しいタスクの応答関数に適応するために,共有型深層サロゲートモデルを学習する数ショット学習問題を提案する。 本稿では,エンドツーエンドにメタ学習されたガウス的プロセスサロゲートにディープカーネルネットワークを適用することを提案する。 その結果、深部カーネルサーロゲートの斬新な数ショット最適化は、HPOでの新しい最先端の結果につながります。
  論文  参考訳（メタデータ） (2021-01-19T15:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。