論文の概要: RECONSIDER: Re-Ranking using Span-Focused Cross-Attention for Open Domain Question Answering

• arxiv url: http://arxiv.org/abs/2010.10757v1
• Date: Wed, 21 Oct 2020 04:28:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 23:41:38.855103
• Title: RECONSIDER: Re-Ranking using Span-Focused Cross-Attention for Open Domain Question Answering
• Title（参考訳）: ReCONSIDER: Span-Focused Cross-Attention を用いたオープンドメイン質問回答のための再学習
• Authors: Srinivasan Iyer, Sewon Min, Yashar Mehdad, Wen-tau Yih
• Abstract要約: 本研究では,スパン抽出タスクのための簡易かつ効果的な再ランク付け手法(RECONSIDER)を開発した。 ReCONSIDERは、MRCモデルの高信頼予測から抽出された正および負の例に基づいて訓練される。 パス内のスパンアノテーションを使用して、より小さな候補セットに対してスパンに焦点を当てた再ランクを実行する。
• 参考スコア（独自算出の注目度）: 49.024513062811685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art Machine Reading Comprehension (MRC) models for Open-domain Question Answering (QA) are typically trained for span selection using distantly supervised positive examples and heuristically retrieved negative examples. This training scheme possibly explains empirical observations that these models achieve a high recall amongst their top few predictions, but a low overall accuracy, motivating the need for answer re-ranking. We develop a simple and effective re-ranking approach (RECONSIDER) for span-extraction tasks, that improves upon the performance of large pre-trained MRC models. RECONSIDER is trained on positive and negative examples extracted from high confidence predictions of MRC models, and uses in-passage span annotations to perform span-focused re-ranking over a smaller candidate set. As a result, RECONSIDER learns to eliminate close false positive passages, and achieves a new state of the art on four QA tasks, including 45.5% Exact Match accuracy on Natural Questions with real user questions, and 61.7% on TriviaQA.
• Abstract（参考訳）: オープンドメイン質問応答(qa)のための最先端マシンリーディング理解(mrc)モデルは通常、遠方の教師付きポジティブな例とヒューリスティックに検索されたネガティブな例を使ってスパン選択のために訓練される。 このトレーニングスキームは、これらのモデルが最も少数の予測の中で高いリコールを達成するという経験的な観察を説明するが、全体的な精度は低く、答えの再ランク付けの必要性を動機付けている。 我々は,大規模な事前学習型MCCモデルの性能を向上させるため,スパン抽出タスクのためのシンプルで効果的な再ランク付け手法(RECONSIDER)を開発した。 再検討は、mrcモデルの高い信頼度予測から抽出されたポジティブな例とネガティブな例に基づいて訓練され、より小さな候補セットでスパンにフォーカスした再ランキングを行うために、パッセージスパンアノテーションを使用する。 その結果、rethinkは密接な偽陽性の通路を取り除き、4つのqaタスクで新しい状態を達成することを学び、自然問題と実際のユーザ質問の正確な一致率45.5%、トリビアカでの61.7%を含む。

関連論文リスト

• Enhancing Retrieval Performance: An Ensemble Approach For Hard Negative Mining [0.0]
  本研究は,クロスエンコーダモデルのトレーニングプロセスにおいて,ハードネガティブが果たす重要な役割を説明することに焦点を当てる。 我々は,企業データセット上でのクロスエンコーダ・リランクモデルの効率的なトレーニングのための強硬な負のマイニング手法を開発した。
  論文  参考訳（メタデータ） (2024-10-18T05:23:39Z)
• Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology [0.34530027457862006]
  従来の研究によると、既存のモデルは、答えがつかない質問を含むEQAデータセットでトレーニングされた場合、ロバスト性の著しい欠如を示している。 提案手法は,EQA問題に対する新たな損失関数を含み,多数のEQAデータセットに存在する暗黙の仮定に挑戦する。 本モデルでは,2種類の敵攻撃に対するロバスト性が有意に向上し,デフォルトモデルに比べて性能は3分の1程度低下した。
  論文  参考訳（メタデータ） (2024-09-29T20:35:57Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning [54.61762276179205]
  我々は,ビザドサンプルを最大限に活用することで,ロバストなVQAモデルを構築するための新しいコントラスト学習手法 MMBS を提案する。 具体的には、元のトレーニングサンプルからスプリアス相関に関連する情報を排除し、比較学習のための正のサンプルを構築する。 我々は,OODデータセットのVQA-CP v2において,IDデータセットのVQA v2上での堅牢なパフォーマンスを維持しながら,競争性能を達成することで,コントリビューションを検証した。
  論文  参考訳（メタデータ） (2022-10-10T11:05:21Z)
• Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
  オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。 再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
  論文  参考訳（メタデータ） (2022-04-15T14:51:41Z)
• Towards Confident Machine Reading Comprehension [7.989756186727329]
  予測後信頼度推定モデルを提案し,これをMr.C(Mr.C)と呼ぶ。 自信) mr.cは、曲線(auc)の下の領域で測定された最大4ポイントの改善によって、不正な予測を控えるシステムの能力を改善するために訓練することができる。
  論文  参考訳（メタデータ） (2021-01-20T03:02:12Z)
• End-to-End Training of Neural Retrievers for Open-Domain Question Answering [32.747113232867825]
  ニューラルレトリバーに対して、非監視および監督された方法が最も効果的に使用できるかは不明である。 Inverse Cloze Taskとマスク付きサラエントスパンによる教師なしプリトレーニングのアプローチを提案します。 また,OpenQAモデルにおけるリーダとレシーバコンポーネントのエンドツーエンド教師付きトレーニングのための2つのアプローチについても検討する。
  論文  参考訳（メタデータ） (2021-01-02T09:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。