論文の概要: WebCPM: Interactive Web Search for Chinese Long-form Question Answering

• arxiv url: http://arxiv.org/abs/2305.06849v1
• Date: Thu, 11 May 2023 14:47:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 14:34:24.493069
• Title: WebCPM: Interactive Web Search for Chinese Long-form Question Answering
• Title（参考訳）: WebCPM:中国の長文質問応答のためのインタラクティブWeb検索
• Authors: Yujia Qin, Zihan Cai, Dian Jin, Lan Yan, Shihao Liang, Kunlun Zhu, Yankai Lin, Xu Han, Ning Ding, Huadong Wang, Ruobing Xie, Fanchao Qi, Zhiyuan Liu, Maosong Sun, and Jie Zhou
• Abstract要約: LFQA(Long-form Question answering)は、複雑でオープンな質問に、段落長の詳細な回答で答えることを目的としている。 中国初のLFQAデータセットであるWebCPMを紹介する。 高品質な質問応答対5,500件,支援事実14,315件,Web検索121,330件を収集した。
• 参考スコア（独自算出の注目度）: 104.676752359777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-form question answering (LFQA) aims at answering complex, open-ended questions with detailed, paragraph-length responses. The de facto paradigm of LFQA necessitates two procedures: information retrieval, which searches for relevant supporting facts, and information synthesis, which integrates these facts into a coherent answer. In this paper, we introduce WebCPM, the first Chinese LFQA dataset. One unique feature of WebCPM is that its information retrieval is based on interactive web search, which engages with a search engine in real time. Following WebGPT, we develop a web search interface. We recruit annotators to search for relevant information using our interface and then answer questions. Meanwhile, the web search behaviors of our annotators would be recorded. In total, we collect 5,500 high-quality question-answer pairs, together with 14,315 supporting facts and 121,330 web search actions. We fine-tune pre-trained language models to imitate human behaviors for web search and to generate answers based on the collected facts. Our LFQA pipeline, built on these fine-tuned models, generates answers that are no worse than human-written ones in 32.5% and 47.5% of the cases on our dataset and DuReader, respectively.
• Abstract（参考訳）: LFQA(Long-form Question answering)は、複雑でオープンな質問に、段落長の詳細な回答で答えることを目的としている。 LFQAのデファクトパラダイムは、関連する支援事実を検索する情報検索と、これらの事実を一貫性のある回答に統合する情報合成という2つの手順を必要とする。 本稿では,中国初のLFQAデータセットであるWebCPMを紹介する。 WebCPMのユニークな特徴の1つは、その情報検索がインタラクティブなWeb検索に基づいており、リアルタイムで検索エンジンと関わることである。 WebGPT に続いて,Web 検索インタフェースを開発した。 私たちはアノテータを募集し、インターフェースを使って関連情報を検索し、質問に答えます。 一方、アノテータのweb検索動作は記録されるでしょう。 合計5500対の高品質な質問応答対を収集し,14,315件のサポート事実と121,330件のWeb検索行動を行った。 web 検索の動作を模倣し,収集した事実に基づいて回答を生成するために,事前学習した言語モデルを微調整した。 我々のLFQAパイプラインは、これらの微調整されたモデルに基づいており、データセットの32.5%と47.5%のケースで、人書きのものよりも悪い回答を生成する。

関連論文リスト

• Multi-hop Evidence Pursuit Meets the Web: Team Papelo at FEVER 2024 [1.3923460621808879]
  大規模言語モデル(LLM)の推論能力と,現代の検索エンジンの検索能力を組み合わせることで,この処理を自動化できることが示されている。 マルチホップエビデンス追跡戦略の下で,LSMと検索を統合した。 提案システムでは,開発セットで.510 AVeriTeC,テストセットで.477 AVeriTeCを達成した。
  論文  参考訳（メタデータ） (2024-11-08T18:25:06Z)
• Open Domain Question Answering with Conflicting Contexts [55.739842087655774]
  あいまいでオープンなドメインの質問の25%は、Google Searchを使って検索すると、コンフリクトのあるコンテキストにつながります。 我々はアノテータに正しい回答の選択についての説明を依頼する。
  論文  参考訳（メタデータ） (2024-10-16T07:24:28Z)
• Analyzing Human Questioning Behavior and Causal Curiosity through Natural Queries [91.70689724416698]
  NatQuest(ナットクエスト)は、3つの異なるソースから自然発生の質問13,500件のコレクションである。 分析の結果,データセット内には因果的疑問(最大42%)が有意な存在であることが判明した。
  論文  参考訳（メタデータ） (2024-05-30T17:55:28Z)
• Researchy Questions: A Dataset of Multi-Perspective, Decompositional Questions for LLM Web Agents [22.023543164141504]
  我々は,検索エンジンクエリのデータセットであるResearchy Questionsを紹介した。 クリックやセッションの長さといったシグナルによって,これらの質問に多くの労力が費やされていることを,私たちは示しています。 また、サブクエストへの分解のようなスロー思考の解答技術は、直接解答するよりも有益であることを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:27:16Z)
• Evaluating Mixed-initiative Conversational Search Systems via User Simulation [9.066817876491053]
  このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。 Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
  論文  参考訳（メタデータ） (2022-04-17T16:27:33Z)
• A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers [66.11048565324468]
  1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。 各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。 他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
  論文  参考訳（メタデータ） (2021-05-07T00:12:34Z)
• Mining Implicit Relevance Feedback from User Behavior for Web Question Answering [92.45607094299181]
  本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。 提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。 実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
  論文  参考訳（メタデータ） (2020-06-13T07:02:08Z)
• Conversations with Search Engines: SERP-based Conversational Response Generation [77.1381159789032]
  我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。 また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。 CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
  論文  参考訳（メタデータ） (2020-04-29T13:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。