論文の概要: Learning Dense Representations of Phrases at Scale

• arxiv url: http://arxiv.org/abs/2012.12624v2
• Date: Sat, 2 Jan 2021 00:42:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:11:56.486934
• Title: Learning Dense Representations of Phrases at Scale
• Title（参考訳）: スケールでのフラスのディエンス表現の学習
• Authors: Jinhyuk Lee, Mujeen Sung, Jaewoo Kang, Danqi Chen
• Abstract要約: オープンドメインのQAにおいて、より強力なパフォーマンスを実現するための単語表現のみを学習できることを、私たちは初めて示します。 本モデルでは,従来の句検索モデルを15%～25%の絶対精度で改善する。 私たちのモデルは、純粋に密度の高い表現とCPU上で毎秒10問以上のプロセスのために、並列化が容易です。
• 参考スコア（独自算出の注目度）: 22.792942611601347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-domain question answering can be reformulated as a phrase retrieval problem, without the need for processing documents on-demand during inference (Seo et al., 2019). However, current phrase retrieval models heavily depend on their sparse representations while still underperforming retriever-reader approaches. In this work, we show for the first time that we can learn dense phrase representations alone that achieve much stronger performance in open-domain QA. Our approach includes (1) learning query-agnostic phrase representations via question generation and distillation; (2) novel negative-sampling methods for global normalization; (3) query-side fine-tuning for transfer learning. On five popular QA datasets, our model DensePhrases improves previous phrase retrieval models by 15%-25% absolute accuracy and matches the performance of state-of-the-art retriever-reader models. Our model is easy to parallelize due to pure dense representations and processes more than 10 questions per second on CPUs. Finally, we directly use our pre-indexed dense phrase representations for two slot filling tasks, showing the promise of utilizing DensePhrases as a dense knowledge base for downstream tasks.
• Abstract（参考訳）: オープンドメイン質問応答は、推論中の文書をオンデマンドで処理する必要なく、フレーズ検索問題として再構築することができる(Seo et al., 2019)。 しかし、現在のフレーズ検索モデルは、レトリーバーリーダーアプローチがパフォーマンスが低いにもかかわらず、スパース表現に大きく依存している。 本研究では,オープンドメインのQAにおいて,より強力な性能を実現するために,単語表現のみを学習できることを初めて示す。 提案手法は,(1)質問生成と蒸留による問合せ非依存句表現の学習,(2)グローバル正規化のための新しい否定サンプリング法,(3)問合せ側微調整による転送学習を含む。 5つの一般的なqaデータセットにおいて,従来の句検索モデルを15%～25%の絶対精度で改善し,最先端の検索モデルに適合させた。 私たちのモデルは、純粋に密度の高い表現とCPU上で毎秒10問以上のプロセスのために、並列化が容易です。 最後に,2つのスロット充填タスクに対して,事前インデックスされた密接な句表現を直接使用することで,下流タスクの密集した知識ベースとして密接なフレーズを利用することを期待する。

関連論文リスト

• Efficient Prompt Caching via Embedding Similarity [26.456212783693545]
  類似度を埋め込んだ単ラウンド質問問合せタスクにおけるプロンプトキャッシングの予測精度に着目した。 そこで本研究では, 蒸留法を用いて既存の埋込物を微調整し, より良い予測を行う方法を提案する。 また、トレーニングされたモデルが従来の埋め込みモデルよりもキャッシング効率が良いことを示すシミュレーションも行います。
  論文  参考訳（メタデータ） (2024-02-02T06:34:11Z)
• Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
  ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。 近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
  論文  参考訳（メタデータ） (2023-10-02T18:52:35Z)
• Bridging the Training-Inference Gap for Dense Phrase Retrieval [104.4836127502683]
  密度の高いレトリバーを構築するには、トレーニングやニューラルネットワークの検証など、一連の標準手順が必要である。 本稿では,高密度検索におけるトレーニングと推論のギャップを減らせる方法について検討する。 コーパス全体の小さな部分集合を用いて高密度レトリバーを効率よく検証する方法を提案する。
  論文  参考訳（メタデータ） (2022-10-25T00:53:06Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
  オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。 再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
  論文  参考訳（メタデータ） (2022-04-15T14:51:41Z)
• RETRONLU: Retrieval Augmented Task-Oriented Semantic Parsing [11.157958012672202]
  マルチドメインタスク指向のセマンティックパーシングの問題に対して,検索に基づくモデリングのアイデアを適用している。 我々のアプローチであるRetroNLUは、シーケンス・ツー・シーケンス・モデルアーキテクチャを検索コンポーネントで拡張する。 近隣の検索コンポーネントの品質、モデルの感度を分析し、発話の複雑さの異なる意味解析の性能を分解する。
  論文  参考訳（メタデータ） (2021-09-21T19:30:30Z)
• Phrase Retrieval Learns Passage Retrieval, Too [77.57208968326422]
  文節検索が,文節や文書を含む粗いレベルの検索の基盤となるかを検討する。 句検索システムでは,句検索の精度が向上し,句検索の精度が向上していることを示す。 また,句のフィルタリングやベクトル量子化により,インデックスのサイズを4～10倍に削減できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T17:42:45Z)
• EfficientQA : a RoBERTa Based Phrase-Indexed Question-Answering System [0.0]
  本稿では,言語モデルの自然言語理解を,質問や回答候補を表す密接なベクトルに移す可能性について検討する。 提案モデルでは,Phrase-Indexed Question Answering (PIQA) における最先端結果が,精度1.3ポイント,f1スコア1.4ポイントで達成されている。
  論文  参考訳（メタデータ） (2021-01-06T17:46:05Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。