論文の概要: Orca: A Few-shot Benchmark for Chinese Conversational Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2302.13619v1
• Date: Mon, 27 Feb 2023 09:40:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 16:15:59.648841
• Title: Orca: A Few-shot Benchmark for Chinese Conversational Machine Reading Comprehension
• Title（参考訳）: Orca:中国語の会話機械を読むためのベンチマーク
• Authors: Nuo Chen, Hongguang Li, Yinan Bao, Junqing He, Xinshi Lin, Qi Yang, Jianfeng Liu, Ruyi Gan, Jiaxing Zhang, Baoyuan Wang, Jia Li
• Abstract要約: 中国初のCMRCベンチマークOrcaを提案する。 合計4,742ターンのホットトピー駆動の会話831件を収集する。 Orcaの回答はすべて、以前のデータセットの特定のスパンや短いフレーズではなく、よく注釈付けされた自然な応答である。
• 参考スコア（独自算出の注目度）: 27.76748082755695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The conversational machine reading comprehension (CMRC) task aims to answer questions in conversations, which has been a hot research topic in recent years because of its wide applications. However, existing CMRC benchmarks in which each conversation is assigned a static passage are inconsistent with real scenarios. Thus, model's comprehension ability towards real scenarios are hard to evaluate reasonably. To this end, we propose the first Chinese CMRC benchmark Orca and further provide zero-shot/few-shot settings to evaluate model's generalization ability towards diverse domains. We collect 831 hot-topic driven conversations with 4,742 turns in total. Each turn of a conversation is assigned with a response-related passage, aiming to evaluate model's comprehension ability more reasonably. The topics of conversations are collected from social media platform and cover 33 domains, trying to be consistent with real scenarios. Importantly, answers in Orca are all well-annotated natural responses rather than the specific spans or short phrase in previous datasets. Besides, we implement three strong baselines to tackle the challenge in Orca. The results indicate the great challenge of our CMRC benchmark. Our datatset and checkpoints are available at https://github.com/nuochenpku/Orca.
• Abstract（参考訳）: 会話機械読解(CMRC)課題は,近年ホットな研究課題となっている会話における質問に答えることを目的としている。 しかし、各会話が静的パスに割り当てられる既存のCMRCベンチマークは、実際のシナリオと矛盾しない。 したがって、実際のシナリオに対するモデルの理解能力を評価するのは難しい。 この目的のために,中国初のcmrcベンチマークorcaを提案し,多種多様なドメインに対するモデルの一般化能力を評価するためのゼロショット/フェーショット設定も提供する。 831のホットトピック駆動会話を合計4,742回収集した。 会話の各ターンには応答関連通路が割り当てられ、モデルの理解能力をより合理的に評価することを目的としている。 会話のトピックはソーシャルメディアプラットフォームから収集され、33のドメインをカバーする。 重要なのは、orcaの回答はすべて、以前のデータセットの特定のスパンや短いフレーズではなく、よくアノテーションされた自然な応答です。 さらに、Orcaの課題に取り組むために、3つの強力なベースラインを実装しています。 その結果,CMRCベンチマークの課題が示唆された。 datatsetとcheckpointsはhttps://github.com/nuochenpku/orcaで利用できます。

関連論文リスト

• Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action [17.60243337898751]
  オープンドメイン会話質問回答(OCQA)のための会話連鎖(Conv-CoA)フレームワークを提案する。 文献と比較して、Conv-CoAは、(i)リアルタイムやドメイン事実と矛盾しない不誠実な幻覚、(ii)会話シナリオにおける弱い推論性能、(iii)会話情報検索における不満足なパフォーマンスの3つの主要な課題に対処する。
  論文  参考訳（メタデータ） (2024-05-28T04:46:52Z)
• ZeQR: Zero-shot Query Reformulation for Conversational Search [11.644235288057123]
  本稿では,対話型検索データからの監視を必要とせずに,従来の対話コンテキストに基づいてクエリを再構成する,ゼロショットクエリ再構成(あるいはクエリ書き換え)フレームワークを提案する。 具体的には、機械読解タスク用に設計された言語モデルを用いて、コア参照と省略という2つの共通の曖昧さを生クエリで明示的に解決する。 さらに、あいまいさが明確かつ積極的に解決されているため、説明可能性も向上し、クエリ意図の理解を効果的に強化する。
  論文  参考訳（メタデータ） (2023-07-18T16:05:25Z)
• SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents [72.42049370297849]
  SpokenWOZは音声TODのための大規模音声テキストデータセットである。 SpokenWOZでは、クロスターンスロットと推論スロット検出が新たな課題である。
  論文  参考訳（メタデータ） (2023-05-22T13:47:51Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• Challenges in Procedural Multimodal Machine Comprehension:A Novel Way To Benchmark [14.50261153230204]
  M3C(Multimodal Machine Reading)に注目し、与えられた文節(または文脈)に基づいてモデルが質問に答えることを期待する。 大規模深層モデルの問合せ生成過程と暗記能力から生じる3つの臨界バイアスを同定する。 3つの制御ノブを通してこれらのバイアスに対処するための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-10-22T16:33:57Z)
• TopiOCQA: Open-domain Conversational Question Answeringwith Topic Switching [11.717296856448566]
  トピックスイッチ付きオープンドメイン会話データセットであるTopiOCQAをWikipediaで紹介する。 TopiOCQAには3,920の会話と情報検索の質問と自由形式の回答が含まれている。 我々は、最先端の文書検索手法とニューラルリーダーモデルを組み合わせることで、いくつかのベースラインを評価する。
  論文  参考訳（メタデータ） (2021-10-02T09:53:48Z)
• CoCo: Controllable Counterfactuals for Evaluating Dialogue State Trackers [92.5628632009802]
  本稿では,このギャップを橋渡しし,新たなシナリオにおける対話状態追跡(DST)モデルを評価するための制御可能な対策(CoCo)を提案する。 CoCoは、2つのステップで新しい会話シナリオを生成する: (i) スロットをドロップして追加し、スロット値を置き換えて、 (ii) (i) で条件付きで対話フローと整合する対実会話生成。 人間による評価では、COCO生成された会話は95%以上の精度でユーザー目標を完璧に反映し、元の会話と同じくらい人間らしくなっている。
  論文  参考訳（メタデータ） (2020-10-24T09:39:35Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。