論文の概要: Chain-of-Skills: A Configurable Model for Open-domain Question Answering

• arxiv url: http://arxiv.org/abs/2305.03130v1
• Date: Thu, 4 May 2023 20:19:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 16:16:25.622766
• Title: Chain-of-Skills: A Configurable Model for Open-domain Question Answering
• Title（参考訳）: Chain-of-Skills:オープンドメイン質問回答のための構成可能なモデル
• Authors: Kaixin Ma, Hao Cheng, Yu Zhang, Xiaodong Liu, Eric Nyberg, Jianfeng Gao
• Abstract要約: 検索モデルは、現実世界の知識集約的なタスクに欠かせない要素である。 最近の研究はカスタマイズされたメソッドに焦点を合わせ、モデルの転送可能性とスケーラビリティを制限している。 本稿では,各モジュールがデータセット間で再利用可能なキースキルに対応するモジュールレトリバーを提案する。
• 参考スコア（独自算出の注目度）: 79.8644260578301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The retrieval model is an indispensable component for real-world knowledge-intensive tasks, e.g., open-domain question answering (ODQA). As separate retrieval skills are annotated for different datasets, recent work focuses on customized methods, limiting the model transferability and scalability. In this work, we propose a modular retriever where individual modules correspond to key skills that can be reused across datasets. Our approach supports flexible skill configurations based on the target domain to boost performance. To mitigate task interference, we design a novel modularization parameterization inspired by sparse Transformer. We demonstrate that our model can benefit from self-supervised pretraining on Wikipedia and fine-tuning using multiple ODQA datasets, both in a multi-task fashion. Our approach outperforms recent self-supervised retrievers in zero-shot evaluations and achieves state-of-the-art fine-tuned retrieval performance on NQ, HotpotQA and OTT-QA.
• Abstract（参考訳）: 検索モデルは現実世界の知識集約的なタスク、例えばオープンドメイン質問応答(ODQA)に必須のコンポーネントである。 異なるデータセットに対して別々の検索スキルがアノテートされるため、最近の研究はカスタマイズされたメソッドに焦点を当て、モデルの転送可能性とスケーラビリティを制限する。 本研究では,各モジュールがデータセット間で再利用可能なキースキルに対応するモジュールレトリバーを提案する。 我々のアプローチは、パフォーマンスを高めるためにターゲットドメインに基づいた柔軟なスキル構成をサポートします。 タスク干渉を軽減するため,スパース変圧器にインスパイアされた新しいモジュラー化パラメータ化を設計する。 我々は,ウィキペディアの自己教師型事前学習と,複数のODQAデータセットを用いた微調整の恩恵を受けることができることを示した。 提案手法は,NQ,HotpotQA,OTT-QAにおけるゼロショット評価において,近年の自己教師型検索よりも優れ,最先端の微調整検索性能を実現している。

関連論文リスト

• Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer [80.50327229467993]
  学習した1つのモデルが競合検索とQA性能の両方を達成可能であることを示す。 エンドツーエンド適応は、教師なし設定と教師なし設定の両方において、ドメイン外のデータセットのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-12-05T04:51:21Z)
• You Only Need One Model for Open-domain Question Answering [26.582284346491686]
  オープンドメイン質問回答に関する最近の研究は、検索モデルを用いた外部知識ベースを参照。 本稿では,トランスアーキテクチャ内で順次適用されるハードアテンション機構として,レトリバーとリランカのキャスティングを提案する。 我々は,Natural Questions と TriviaQA のオープンデータセットに関するモデルを評価し,従来の最先端モデルよりも1.0 と 0.7 の精度で優れた結果を得た。
  論文  参考訳（メタデータ） (2021-12-14T13:21:11Z)
• MetaQA: Combining Expert Agents for Multi-Skill Question Answering [49.35261724460689]
  マルチデータセットモデルの有望な結果にもかかわらず、いくつかのドメインやQAフォーマットは特定のアーキテクチャを必要とするかもしれません。 本稿では,専門家エージェントと,質問,回答予測,回答予測信頼度スコアを考慮した,新しい,柔軟な,学習効率の高いアーキテクチャを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2021-12-03T14:05:52Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)
• ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
  本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。 われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
  論文  参考訳（メタデータ） (2020-01-22T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。