論文の概要: You Only Need One Model for Open-domain Question Answering

• arxiv url: http://arxiv.org/abs/2112.07381v1
• Date: Tue, 14 Dec 2021 13:21:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-12-15 22:46:26.678433
• Title: You Only Need One Model for Open-domain Question Answering
• Title（参考訳）: オープンドメイン質問回答に必要なのは1つのモデルだけです
• Authors: Haejun Lee, Akhil Kedia, Jongwon Lee, Ashwin Paranjape, Christopher D. Manning, and Kyoung-Gu Woo
• Abstract要約: オープンドメイン質問回答に関する最近の研究は、検索モデルを用いた外部知識ベースを参照。 本稿では,トランスアーキテクチャ内で順次適用されるハードアテンション機構として,レトリバーとリランカのキャスティングを提案する。 我々は,Natural Questions と TriviaQA のオープンデータセットに関するモデルを評価し,従来の最先端モデルよりも1.0 と 0.7 の精度で優れた結果を得た。
• 参考スコア（独自算出の注目度）: 26.582284346491686
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent works for Open-domain Question Answering refer to an external knowledge base using a retriever model, optionally rerank the passages with a separate reranker model and generate an answer using an another reader model. Despite performing related tasks, the models have separate parameters and are weakly-coupled during training. In this work, we propose casting the retriever and the reranker as hard-attention mechanisms applied sequentially within the transformer architecture and feeding the resulting computed representations to the reader. In this singular model architecture the hidden representations are progressively refined from the retriever to the reranker to the reader, which is more efficient use of model capacity and also leads to better gradient flow when we train it in an end-to-end manner. We also propose a pre-training methodology to effectively train this architecture. We evaluate our model on Natural Questions and TriviaQA open datasets and for a fixed parameter budget, our model outperforms the previous state-of-the-art model by 1.0 and 0.7 exact match scores.
• Abstract（参考訳）: オープンドメイン質問回答の最近の研究は、検索者モデルを用いて外部知識ベースを参照し、別のリランカモデルで経路を任意にリランクし、別の読者モデルを用いて回答を生成する。 関連するタスクを実行するにも関わらず、モデルは別々のパラメータを持ち、トレーニング中に弱結合する。 本稿では,変換器アーキテクチャ内で順次適用されたハードアテンション機構としてレトリバーとリランカをキャストし,結果の計算表現を読者に供給する手法を提案する。 この特異モデルアーキテクチャでは、隠れた表現をレトリバーからリカクタから読み手へと徐々に洗練し、モデルのキャパシティをより効率的に利用し、エンドツーエンドでトレーニングした場合の勾配フローを改善する。 また,このアーキテクチャを効果的に学習するための事前学習手法を提案する。 我々は,Natural QuestionsおよびTriviaQAオープンデータセットのモデルを評価するとともに,パラメータ予算の固定化により,従来の最先端モデルよりも1.0,0。

関連論文リスト

• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)
• ProtoNER: Few shot Incremental Learning for Named Entity Recognition using Prototypical Networks [7.317342506617286]
  プロトタイプネットワークに基づくエンドツーエンドKVP抽出モデルを示す。 モデルの初期トレーニングに使用されるデータセットに依存しない。 ノイズを付加し、結果としてモデルの性能劣化を引き起こすような中間合成データ生成は行われない。
  論文  参考訳（メタデータ） (2023-10-03T18:52:19Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval Augmented Generation Models for Open Book Question-Answering [0.0]
  そこで本稿では,テキスト文書のプロプライエタリなコレクション上で,オープンブック質問応答のための生成的質問応答モデルを効率的に開発する枠組みを提案する。 このフレームワークは、教師付き微調整および強化学習を用いて、レトリバー拡張生成(RAG)モデルを対象領域に適応させる。
  論文  参考訳（メタデータ） (2023-07-12T04:44:31Z)
• Chain-of-Skills: A Configurable Model for Open-domain Question Answering [79.8644260578301]
  検索モデルは、現実世界の知識集約的なタスクに欠かせない要素である。 最近の研究はカスタマイズされたメソッドに焦点を合わせ、モデルの転送可能性とスケーラビリティを制限している。 本稿では,各モジュールがデータセット間で再利用可能なキースキルに対応するモジュールレトリバーを提案する。
  論文  参考訳（メタデータ） (2023-05-04T20:19:39Z)
• Earning Extra Performance from Restrictive Feedbacks [41.05874087063763]
  モデルチューニング問題の形式を記述するために,rerestriCTive feeddbacks (EXPECTED) から emphEarning eXtra PerformancE という課題を設定した。 モデルプロバイダの目標は、最終的にフィードバックを利用することで、ローカルユーザに対して満足のいくモデルを提供することです。 本稿では,パラメータ分布を探索し,モデルパラメータに関するモデル性能の幾何を特徴付けることを提案する。
  論文  参考訳（メタデータ） (2023-04-28T13:16:54Z)
• Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer [80.50327229467993]
  学習した1つのモデルが競合検索とQA性能の両方を達成可能であることを示す。 エンドツーエンド適応は、教師なし設定と教師なし設定の両方において、ドメイン外のデータセットのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-12-05T04:51:21Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
  オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。 再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
  論文  参考訳（メタデータ） (2022-04-15T14:51:41Z)
• Attention-guided Generative Models for Extractive Question Answering [17.476450946279037]
  近年,事前学習型生成系列列列モデル (seq2seq) は質問応答において大きな成功を収めている。 本稿では,デコーダのクロスアテンションパターンを利用して,生成モデルから抽出された回答を抽出する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T23:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。