論文の概要: A Clarifying Question Selection System from NTES_ALONG in Convai3 Challenge

• arxiv url: http://arxiv.org/abs/2010.14202v3
• Date: Fri, 20 Nov 2020 04:19:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 12:05:53.880652
• Title: A Clarifying Question Selection System from NTES_ALONG in Convai3 Challenge
• Title（参考訳）: Convai3チャレンジにおけるNTES_ALONGからの質問選択システム
• Authors: Wenjie Ou, Yue Lin
• Abstract要約: 本稿では,検索指向会話型AI (SCAI) EMNLPワークショップにおけるClariQチャレンジへのNetEase Game AI Labチームの参加について述べる。 この課題は、解明された質問を理解し、生成できる完全な会話情報検索システムを求めるものである。 本稿では,回答理解,質問のリコール,質問ランキングの明確化からなる質問選択システムを提案する。
• 参考スコア（独自算出の注目度）: 8.656503175492375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the participation of NetEase Game AI Lab team for the ClariQ challenge at Search-oriented Conversational AI (SCAI) EMNLP workshop in 2020. The challenge asks for a complete conversational information retrieval system that can understanding and generating clarification questions. We propose a clarifying question selection system which consists of response understanding, candidate question recalling and clarifying question ranking. We fine-tune a RoBERTa model to understand user's responses and use an enhanced BM25 model to recall the candidate questions. In clarifying question ranking stage, we reconstruct the training dataset and propose two models based on ELECTRA. Finally we ensemble the models by summing up their output probabilities and choose the question with the highest probability as the clarification question. Experiments show that our ensemble ranking model outperforms in the document relevance task and achieves the best recall@[20,30] metrics in question relevance task. And in multi-turn conversation evaluation in stage2, our system achieve the top score of all document relevance metrics.
• Abstract（参考訳）: 本稿では,検索指向会話型AI (SCAI) EMNLPワークショップにおけるClariQチャレンジへのNetEase Game AI Labチームの参加について述べる。 この課題は、明確化問題を理解し、生成できる完全な会話情報検索システムを求めるものである。 本稿では,回答理解,質問のリコール,質問ランキングの明確化からなる質問選択システムを提案する。 ユーザの応答を理解するためにRoBERTaモデルを微調整し、BM25モデルを拡張して候補質問をリコールする。 質問ランキングの段階では、トレーニングデータセットを再構築し、ELECTRAに基づく2つのモデルを提案する。 最後に、出力確率を合計してモデルをアンサンブルし、最も高い確率で解を明確化問題として選択する。 実験の結果,我々のアンサンブルランキングモデルは文書関連タスクにおいて優れており,質問関連タスクにおいて最高のリコール@[20,30]メトリクスを達成することがわかった。 そして,ステージ2におけるマルチターン会話評価において,本システムはすべての文書関連指標のトップスコアを達成する。

関連論文リスト

• Multi-hop Evidence Pursuit Meets the Web: Team Papelo at FEVER 2024 [1.3923460621808879]
  大規模言語モデル(LLM)の推論能力と,現代の検索エンジンの検索能力を組み合わせることで,この処理を自動化できることが示されている。 マルチホップエビデンス追跡戦略の下で,LSMと検索を統合した。 提案システムでは,開発セットで.510 AVeriTeC,テストセットで.477 AVeriTeCを達成した。
  論文  参考訳（メタデータ） (2024-11-08T18:25:06Z)
• CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
  CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
  論文  参考訳（メタデータ） (2024-04-28T18:21:31Z)
• PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
  本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。 本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。 次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:34Z)
• Towards Reliable and Factual Response Generation: Detecting Unanswerable Questions in Information-Seeking Conversations [16.99952884041096]
  生成的AIモデルは、そのようなシステムに対するユーザの信頼を損なう可能性のある幻覚の課題に直面します。 本稿では,まずコーパス内の関連するパスを識別し,最後にシステム応答にまとめる2段階のプロセスとして,会話情報探索の問題にアプローチする。 具体的には,文レベル分類器を用いて解答の有無を判定し,これらの予測を文レベルに集約し,最後に最終解答可能性推定値に到達する。
  論文  参考訳（メタデータ） (2024-01-21T10:15:36Z)
• Evaluating Mixed-initiative Conversational Search Systems via User Simulation [9.066817876491053]
  このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。 Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
  論文  参考訳（メタデータ） (2022-04-17T16:27:33Z)
• Double Retrieval and Ranking for Accurate Question Answering [120.69820139008138]
  本研究では,トランスフォーマーを用いた解答選択モデルに導入された解答検証ステップが,問合せ解答における解答の精度を大幅に向上させることを示す。 AS2のためのよく知られた3つのデータセットの結果は、最先端の一貫性と大幅な改善を示している。
  論文  参考訳（メタデータ） (2022-01-16T06:20:07Z)
• Answer Generation for Retrieval-based Question Answering Systems [80.28727681633096]
  シーケンス・トゥ・シークエンス・トランスモデルを訓練し、候補集合から解を生成する。 英語のAS2データセットを3つ比較したところ, 精度は32点まで向上した。
  論文  参考訳（メタデータ） (2021-06-02T05:45:49Z)
• MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for Answer Selection [59.95429407899612]
  そこで我々は,MS-Ranker という,新しい強化学習に基づくマルチステップランキングモデルを提案する。 我々は、候補の潜在的な正しさを明示的に考慮し、ゲーティング機構で証拠を更新する。 我々のモデルは、外部リソースに依存しない既存の手法を著しく上回ります。
  論文  参考訳（メタデータ） (2020-10-10T10:36:58Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)
• ConvAI3: Generating Clarifying Questions for Open-Domain Dialogue Systems (ClariQ) [64.60303062063663]
  本論文では,対話システムに対する質問の明確化に関する課題について詳述する(ClariQ)。 このチャレンジは、2020年のSearch Oriented Conversational AI (SCAI) EMNLPワークショップで、ConvAI3(Conversational AI Challenge series)の一部として組織されている。
  論文  参考訳（メタデータ） (2020-09-23T19:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。