論文の概要: WebCPM: Interactive Web Search for Chinese Long-form Question Answering
- arxiv url: http://arxiv.org/abs/2305.06849v2
- Date: Tue, 23 May 2023 13:15:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 23:37:13.120755
- Title: WebCPM: Interactive Web Search for Chinese Long-form Question Answering
- Title(参考訳): WebCPM:中国の長文質問応答のためのインタラクティブWeb検索
- Authors: Yujia Qin, Zihan Cai, Dian Jin, Lan Yan, Shihao Liang, Kunlun Zhu,
Yankai Lin, Xu Han, Ning Ding, Huadong Wang, Ruobing Xie, Fanchao Qi, Zhiyuan
Liu, Maosong Sun, and Jie Zhou
- Abstract要約: LFQA(Long-form Question answering)は、複雑でオープンな質問に、段落長の詳細な回答で答えることを目的としている。
中国初のLFQAデータセットであるWebCPMを紹介する。
高品質な質問応答対5,500件,支援事実14,315件,Web検索121,330件を収集した。
- 参考スコア(独自算出の注目度): 104.676752359777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-form question answering (LFQA) aims at answering complex, open-ended
questions with detailed, paragraph-length responses. The de facto paradigm of
LFQA necessitates two procedures: information retrieval, which searches for
relevant supporting facts, and information synthesis, which integrates these
facts into a coherent answer. In this paper, we introduce WebCPM, the first
Chinese LFQA dataset. One unique feature of WebCPM is that its information
retrieval is based on interactive web search, which engages with a search
engine in real time. Following WebGPT, we develop a web search interface. We
recruit annotators to search for relevant information using our interface and
then answer questions. Meanwhile, the web search behaviors of our annotators
would be recorded. In total, we collect 5,500 high-quality question-answer
pairs, together with 14,315 supporting facts and 121,330 web search actions. We
fine-tune pre-trained language models to imitate human behaviors for web search
and to generate answers based on the collected facts. Our LFQA pipeline, built
on these fine-tuned models, generates answers that are no worse than
human-written ones in 32.5% and 47.5% of the cases on our dataset and DuReader,
respectively.
- Abstract(参考訳): LFQA(Long-form Question answering)は、複雑でオープンな質問に、段落長の詳細な回答で答えることを目的としている。
LFQAのデファクトパラダイムは、関連する支援事実を検索する情報検索と、これらの事実を一貫性のある回答に統合する情報合成という2つの手順を必要とする。
本稿では,中国初のLFQAデータセットであるWebCPMを紹介する。
WebCPMのユニークな特徴の1つは、その情報検索がインタラクティブなWeb検索に基づいており、リアルタイムで検索エンジンと関わることである。
WebGPT に続いて,Web 検索インタフェースを開発した。
私たちはアノテータを募集し、インターフェースを使って関連情報を検索し、質問に答えます。
一方、アノテータのweb検索動作は記録されるでしょう。
合計5500対の高品質な質問応答対を収集し,14,315件のサポート事実と121,330件のWeb検索行動を行った。
web 検索の動作を模倣し,収集した事実に基づいて回答を生成するために,事前学習した言語モデルを微調整した。
我々のLFQAパイプラインは、これらの微調整されたモデルに基づいており、データセットの32.5%と47.5%のケースで、人書きのものよりも悪い回答を生成する。
関連論文リスト
- Researchy Questions: A Dataset of Multi-Perspective, Decompositional
Questions for LLM Web Agents [22.023543164141504]
我々は,検索エンジンクエリのデータセットであるResearchy Questionsを紹介した。
クリックやセッションの長さといったシグナルによって,これらの質問に多くの労力が費やされていることを,私たちは示しています。
また、サブクエストへの分解のようなスロー思考の解答技術は、直接解答するよりも有益であることを示す。
論文 参考訳(メタデータ) (2024-02-27T21:27:16Z) - PCoQA: Persian Conversational Question Answering Dataset [12.07607688189035]
PCoQAデータセットは、9,026のコンテキスト駆動質問を含む情報検索ダイアログを含むリソースである。
PCoQAは、以前の質問応答データセットと比較して、新しい課題を示すように設計されている。
本稿では,PCoQAデータセットを包括的に提示するだけでなく,各種ベンチマークモデルの性能も報告する。
論文 参考訳(メタデータ) (2023-12-07T15:29:34Z) - Zero-shot Clarifying Question Generation for Conversational Search [25.514678546942754]
本稿では,質問テンプレートとクエリファセットの両方を用いて,効果的かつ正確な質問生成を導く制約付き質問生成システムを提案する。
実験の結果,提案手法は既存のゼロショットベースラインよりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2023-01-30T04:43:02Z) - RealTime QA: What's the Answer Right Now? [137.04039209995932]
本稿では,動的質問応答(QA)プラットフォームであるREALTIME QAを紹介する。
GPT-3 や T5 など,大規模事前学習型言語モデルに基づく強力なベースラインモデルを構築した。
GPT-3は、検索された文書が答えを見つけるのに十分な情報を提供していない場合、時代遅れの回答を返す傾向がある。
論文 参考訳(メタデータ) (2022-07-27T07:26:01Z) - Evaluating Mixed-initiative Conversational Search Systems via User
Simulation [9.066817876491053]
このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。
Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
論文 参考訳(メタデータ) (2022-04-17T16:27:33Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳(メタデータ) (2021-05-07T00:12:34Z) - MultiModalQA: Complex Question Answering over Text, Tables and Images [52.25399438133274]
テキスト,テーブル,画像に対する共同推論を必要とするデータセットであるMultiModalQAを提案する。
大規模で複雑なマルチモーダル質問を生成するための新しいフレームワークを使用してMMQAを作成します。
次に、単一のモダリティから回答できる質問を受け取り、それらを組み合わせてクロスモーダルな質問を生成する形式言語を定義します。
論文 参考訳(メタデータ) (2021-04-13T09:14:28Z) - Mining Implicit Relevance Feedback from User Behavior for Web Question
Answering [92.45607094299181]
本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。
提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。
実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
論文 参考訳(メタデータ) (2020-06-13T07:02:08Z) - Conversations with Search Engines: SERP-based Conversational Response
Generation [77.1381159789032]
我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。
また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。
CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
論文 参考訳(メタデータ) (2020-04-29T13:07:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。