論文の概要: Neural Passage Retrieval with Improved Negative Contrast
- arxiv url: http://arxiv.org/abs/2010.12523v1
- Date: Fri, 23 Oct 2020 16:45:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 22:43:13.335682
- Title: Neural Passage Retrieval with Improved Negative Contrast
- Title(参考訳): ネガティブコントラストを改良したニューラルパス検索
- Authors: Jing Lu, Gustavo Hernandez Abrego, Ji Ma, Jianmo Ni, Yinfei Yang
- Abstract要約: 我々は、通常、二重エンコーダモデルの訓練に使用される正のランダムサンプリングを補完する4つの負のサンプリング戦略を探求する。
検索に基づく戦略は,意味的類似性と質問文と文節間の語彙的重複に基づく。
その結果、オープンドメインの質問応答データセットの2つに対して、最先端のパフォーマンスの新たなレベルを確立した。
- 参考スコア(独自算出の注目度): 21.415627458949356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we explore the effects of negative sampling in dual encoder
models used to retrieve passages for automatic question answering. We explore
four negative sampling strategies that complement the straightforward random
sampling of negatives, typically used to train dual encoder models. Out of the
four strategies, three are based on retrieval and one on heuristics. Our
retrieval-based strategies are based on the semantic similarity and the lexical
overlap between questions and passages. We train the dual encoder models in two
stages: pre-training with synthetic data and fine tuning with domain-specific
data. We apply negative sampling to both stages. The approach is evaluated in
two passage retrieval tasks. Even though it is not evident that there is one
single sampling strategy that works best in all the tasks, it is clear that our
strategies contribute to improving the contrast between the response and all
the other passages. Furthermore, mixing the negatives from different strategies
achieve performance on par with the best performing strategy in all tasks. Our
results establish a new state-of-the-art level of performance on two of the
open-domain question answering datasets that we evaluated.
- Abstract(参考訳): 本稿では,2つのエンコーダモデルにおける負サンプリングの効果について検討する。
我々は、通常、二重エンコーダモデルの訓練に使用される正のランダムサンプリングを補完する4つの負のサンプリング戦略を探求する。
4つの戦略のうち3つは検索に基づいており、1つはヒューリスティックに基づいている。
検索に基づく戦略は,意味的類似性と質問文と文節間の語彙的重複に基づく。
合成データによる事前トレーニングとドメイン固有データによる微調整の2段階において、デュアルエンコーダモデルをトレーニングする。
両段階に負のサンプリングを適用する。
この手法は2つの経路探索タスクで評価される。
全てのタスクに最適な1つのサンプリング戦略が存在することは明らかではないが、我々の戦略が応答と他の全てのパスとのコントラストの改善に寄与していることは明らかである。
さらに、異なる戦略からの負の混合は、すべてのタスクで最高のパフォーマンス戦略と同等のパフォーマンスを達成する。
その結果,我々が評価した2つのオープンドメイン質問応答データセットにおいて,新たな最先端のパフォーマンスが確立された。
関連論文リスト
- Advancing Adversarial Robustness Through Adversarial Logit Update [10.041289551532804]
敵の訓練と敵の浄化は最も広く認知されている防衛戦略の一つである。
そこで本稿では,新たな原則であるALU(Adversarial Logit Update)を提案する。
本手法は,幅広い敵攻撃に対する最先端手法と比較して,優れた性能を実現する。
論文 参考訳(メタデータ) (2023-08-29T07:13:31Z) - Relation-Aware Network with Attention-Based Loss for Few-Shot Knowledge
Graph Completion [9.181270251524866]
現在のアプローチでは、マージンベースのランキング損失を最小限に抑えるために、参照エンティティペア毎に1つの負のサンプルをランダムに選択する。
本稿では,意図に基づくロスフレームワークを用いたリレーショナル・アウェア・ネットワークを提案する。
実験により、RANAは2つのベンチマークデータセットで最先端モデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-06-15T21:41:43Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳(メタデータ) (2022-10-19T16:19:37Z) - Disjoint Contrastive Regression Learning for Multi-Sourced Annotations [10.159313152511919]
大規模データセットはディープラーニングモデルの開発に重要である。
複数のアノテータを使用して、データの異なるサブセットをラベル付けすることができる。
異なるアノテータ間の矛盾とバイアスはモデルトレーニングに有害である。
論文 参考訳(メタデータ) (2021-12-31T12:39:04Z) - Assessing Data Efficiency in Task-Oriented Semantic Parsing [54.87705549021248]
我々は、ある品質バーを達成するのに、ドメイン内の「ターゲット」データがどれだけ必要であるかを近似した4段階のプロトコルを導入する。
我々は,タスク指向セマンティック解析の実践者に対して,その柔軟性と適用性を示す実世界の2つのケーススタディに適用する。
論文 参考訳(メタデータ) (2021-07-10T02:43:16Z) - Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。
具体的には、対照的な学習方法でネットワークをトレーニングする。
各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
論文 参考訳(メタデータ) (2021-03-24T07:26:07Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳(メタデータ) (2021-03-09T15:15:32Z) - Semi-supervised Collaborative Filtering by Text-enhanced Domain
Adaptation [32.93934837792708]
半教師付き学習課題として、疎い暗黙のフィードバックを推奨する問題を考察する。
もっとも難しいケースにフォーカスします -- ユーザや項目の重複はありません。
我々は、潜在空間を整列させるためにアンカーポイントとして、ドメイン不変のテキスト特徴を採用する。
論文 参考訳(メタデータ) (2020-06-28T05:28:05Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳(メタデータ) (2020-05-08T01:59:23Z) - The Simulator: Understanding Adaptive Sampling in the
Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。
適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。
我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文 参考訳(メタデータ) (2017-02-16T23:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。