論文の概要: RealTime QA: What's the Answer Right Now?

• arxiv url: http://arxiv.org/abs/2207.13332v2
• Date: Wed, 28 Feb 2024 07:45:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 19:31:42.851706
• Title: RealTime QA: What's the Answer Right Now?
• Title（参考訳）: RealTime QA: 現時点での回答は?
• Authors: Jungo Kasai, Keisuke Sakaguchi, Yoichi Takahashi, Ronan Le Bras, Akari Asai, Xinyan Yu, Dragomir Radev, Noah A. Smith, Yejin Choi, Kentaro Inui
• Abstract要約: 本稿では,動的質問応答(QA)プラットフォームであるREALTIME QAを紹介する。 GPT-3 や T5 など,大規模事前学習型言語モデルに基づく強力なベースラインモデルを構築した。 GPT-3は、検索された文書が答えを見つけるのに十分な情報を提供していない場合、時代遅れの回答を返す傾向がある。
• 参考スコア（独自算出の注目度）: 137.04039209995932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce REALTIME QA, a dynamic question answering (QA) platform that announces questions and evaluates systems on a regular basis (weekly in this version). REALTIME QA inquires about the current world, and QA systems need to answer questions about novel events or information. It therefore challenges static, conventional assumptions in open-domain QA datasets and pursues instantaneous applications. We build strong baseline models upon large pretrained language models, including GPT-3 and T5. Our benchmark is an ongoing effort, and this paper presents real-time evaluation results over the past year. Our experimental results show that GPT-3 can often properly update its generation results, based on newly-retrieved documents, highlighting the importance of up-to-date information retrieval. Nonetheless, we find that GPT-3 tends to return outdated answers when retrieved documents do not provide sufficient information to find an answer. This suggests an important avenue for future research: can an open-domain QA system identify such unanswerable cases and communicate with the user or even the retrieval module to modify the retrieval results? We hope that REALTIME QA will spur progress in instantaneous applications of question answering and beyond.
• Abstract（参考訳）: 我々は,リアルタイムqa(dynamic question answering, 動的質問応答)プラットフォームを導入し,定期的にシステムを評価する(このバージョンでは毎週)。 REALTIME QAは現在の世界について問い合わせ、QAシステムは新しい出来事や情報に関する質問に答える必要がある。 したがって、オープンドメインのQAデータセットにおける静的な従来の仮定に挑戦し、瞬時にアプリケーションを追跡する。 GPT-3 や T5 など,大規模事前学習型言語モデルに基づく強力なベースラインモデルを構築した。 当社のベンチマークは継続中の取り組みであり,過去1年間のリアルタイム評価結果を示す。 実験結果から, GPT-3は, 新たに取得した文書に基づいて, 情報検索の重要性を浮き彫りにする。 しかし,検索した文書が回答を見つけるのに十分な情報を提供していない場合,GPT-3は時代遅れの回答を返す傾向にある。 オープンドメインのQAシステムはそのような解決不可能なケースを識別し、ユーザや検索モジュールと通信して検索結果を変更できるだろうか? 我々は,REALTIME QAが質問応答等の即時適用の進展を加速させることを期待している。

関連論文リスト

• Event Extraction as Question Generation and Answering [72.04433206754489]
  イベント抽出に関する最近の研究は、質問回答(QA)としてタスクを再編成した。 そこで我々は,QGA-EEを提案する。QGモデルにより,定型テンプレートを使わずに,リッチな文脈情報を含む質問を生成することができる。 実験の結果、QGA-EEはACE05の英語データセットで以前のシングルタスクベースのモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-10T01:46:15Z)
• IfQA: A Dataset for Open-domain Question Answering under Counterfactual Presuppositions [54.23087908182134]
  本稿では,QA(FifQA)と呼ばれる,最初の大規模対実的オープンドメイン質問応答(QA)ベンチマークを紹介する。 IfQAデータセットには3,800以上の質問が含まれている。 IfQAベンチマークによって引き起こされるユニークな課題は、検索と対実的推論の両方に関して、オープンドメインのQA研究を促進することである。
  論文  参考訳（メタデータ） (2023-05-23T12:43:19Z)
• QUADRo: Dataset and Models for QUestion-Answer Database Retrieval [97.84448420852854]
  質問/回答(q/a)ペアのデータベース(DB)が与えられた場合、同じ質問に対してDBをスキャンすることで、対象の質問に答えることができる。 我々は6.3Mのq/aペアからなる大規模DBを構築し、公開質問を用いて、ニューラルIRとq/aペアリランカに基づく新しいシステムを設計する。 我々は、Bing検索エンジン上に構築されたQAシステムという、Webベースの手法とDBベースのアプローチが競合することを示す。
  論文  参考訳（メタデータ） (2023-03-30T00:42:07Z)
• ForecastTKGQuestions: A Benchmark for Temporal Question Answering and Forecasting over Temporal Knowledge Graphs [28.434829347176233]
  時間的知識グラフ(TKGQA)に対する質問応答の関心が高まっている。 TKGQAは時間的知識ベースから関連情報を抽出するために時間的推論技術を必要とする。 本稿では,時間的知識グラフを用いた質問応答の予測という新しい課題を提案する。
  論文  参考訳（メタデータ） (2022-08-12T21:02:35Z)
• Relation-Guided Pre-Training for Open-Domain Question Answering [67.86958978322188]
  複雑なオープンドメイン問題を解決するためのRGPT-QA(Relation-Guided Pre-Training)フレームワークを提案する。 RGPT-QAは, 自然質問, TriviaQA, WebQuestionsにおいて, Exact Matchの精度が2.2%, 2.4%, 6.3%向上したことを示す。
  論文  参考訳（メタデータ） (2021-09-21T17:59:31Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• SituatedQA: Incorporating Extra-Linguistic Contexts into QA [7.495151447459443]
  SituatedQA(SituatedQA)は,時間的・地理的文脈を考慮に入れた質問に対して,システムが正しい回答を提示しなければならない,オープン検索型QAデータセットである。 質問を求める情報のかなりの割合は、文脈に依存した回答であることがわかった。 我々の研究は、既存のモデルが頻繁に更新される、あるいは珍しい場所から回答を得るのに苦労していることを示している。
  論文  参考訳（メタデータ） (2021-09-13T17:53:21Z)
• Hurdles to Progress in Long-form Question Answering [34.805039943215284]
  タスクの定式化は評価とデータセットの作成に関する根本的な課題を提起する。 まず,最先端性能を実現するために,注意の疎化とコントラストレトリバー学習による新しいシステムを設計する。
  論文  参考訳（メタデータ） (2021-03-10T20:32:30Z)
• Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
  主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。 本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。 我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
  論文  参考訳（メタデータ） (2020-10-19T17:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。