論文の概要: CausalQuest: Collecting Natural Causal Questions for AI Agents
- arxiv url: http://arxiv.org/abs/2405.20318v1
- Date: Thu, 30 May 2024 17:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 13:00:01.257266
- Title: CausalQuest: Collecting Natural Causal Questions for AI Agents
- Title（参考訳）: CausalQuest:AIエージェントに対する自然な因果質問の収集
- Authors: Roberto Ceraolo, Dmitrii Kharlapenko, Amélie Reymond, Rada Mihalcea, Mrinmaya Sachan, Bernhard Schölkopf, Zhijing Jin,
- Abstract要約: CausalQuestは、ソーシャルネットワーク、検索エンジン、AIアシスタントから得られる自然発生の質問13,500のデータセットである。
我々は因果問題の定義を定式化し、よりきめ細かい分類のための分類法を確立する。
人類が問う質問の42%は本当に因果関係であり、大多数は与えられた影響の背後にある原因を理解しようとしている。
- 参考スコア（独自算出の注目度）: 95.34262362200695
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Humans have an innate drive to seek out causality. Whether fuelled by curiosity or specific goals, we constantly question why things happen, how they are interconnected, and many other related phenomena. To develop AI agents capable of addressing this natural human quest for causality, we urgently need a comprehensive dataset of natural causal questions. Unfortunately, existing datasets either contain only artificially-crafted questions that do not reflect real AI usage scenarios or have limited coverage of questions from specific sources. To address this gap, we present CausalQuest, a dataset of 13,500 naturally occurring questions sourced from social networks, search engines, and AI assistants. We formalize the definition of causal questions and establish a taxonomy for finer-grained classification. Through a combined effort of human annotators and large language models (LLMs), we carefully label the dataset. We find that 42% of the questions humans ask are indeed causal, with the majority seeking to understand the causes behind given effects. Using this dataset, we train efficient classifiers (up to 2.85B parameters) for the binary task of identifying causal questions, achieving high performance with F1 scores of up to 0.877. We conclude with a rich set of future research directions that can build upon our data and models.
- Abstract（参考訳）: 人間は因果関係を探究する原動力を持っている。
好奇心や特定の目標によって刺激されるかどうかに関わらず、なぜ物事が起こるのか、どのように相互接続されているのか、その他多くの関連する現象に常に疑問を呈する。
この自然な人間による因果関係の探求に対処できるAIエージェントを開発するには、自然因果関係の包括的なデータセットを緊急に必要とします。
残念ながら、既存のデータセットには、実際のAI使用シナリオを反映しない人工的な質問のみが含まれているか、特定のソースからの質問を限定的にカバーしている。
このギャップに対処するために、ソーシャルネットワーク、検索エンジン、AIアシスタントから自然に発生する13,500の質問のデータセットであるCausalQuestを紹介します。
我々は因果問題の定義を定式化し、よりきめ細かい分類のための分類法を確立する。
人間のアノテータと大規模言語モデル(LLM)の組み合わせにより、データセットを慎重にラベル付けする。
人類が問う質問の42%は本当に因果関係であり、大多数は与えられた影響の背後にある原因を理解しようとしている。
このデータセットを用いて、因果質問を識別するバイナリタスクに対して、最大2.85Bパラメータの効率的な分類器を訓練し、最大0.877のF1スコアで高い性能を達成する。
私たちは、データとモデルに基づいて構築できる、将来の研究方向性の豊富なセットで締めくくります。
関連論文リスト
- Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
質問紙作成作業に特化して構築された最初のデータセットについて述べる。
我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。
チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
論文 参考訳（メタデータ） (2024-02-22T04:14:10Z) - FOLLOWUPQG: Towards Information-Seeking Follow-up Question Generation [38.78216651059955]
実世界の情報検索フォローアップ質問生成(FQG)の課題について紹介する。
オープンエンド質問に対するRedditフレンドリーな説明を提供するフォーラムレイマンから収集した,3K以上の実世界のデータセット(初期質問,回答,フォローアップ質問)であるFOLLOWUPQGを構築した。
既存のデータセットとは対照的に、FOLLOWUPQGの質問は情報を求めるためにより多様な実用的戦略を使用し、高次認知能力も示している。
論文 参考訳（メタデータ） (2023-09-10T11:58:29Z) - WebCPM: Interactive Web Search for Chinese Long-form Question Answering [104.676752359777]
LFQA(Long-form Question answering)は、複雑でオープンな質問に、段落長の詳細な回答で答えることを目的としている。
中国初のLFQAデータセットであるWebCPMを紹介する。
高品質な質問応答対5,500件,支援事実14,315件,Web検索121,330件を収集した。
論文 参考訳（メタデータ） (2023-05-11T14:47:29Z) - Zero-shot Clarifying Question Generation for Conversational Search [25.514678546942754]
本稿では,質問テンプレートとクエリファセットの両方を用いて,効果的かつ正確な質問生成を導く制約付き質問生成システムを提案する。
実験の結果,提案手法は既存のゼロショットベースラインよりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (2023-01-30T04:43:02Z) - ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational
Finance Question Answering [70.6359636116848]
本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。
我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
論文 参考訳（メタデータ） (2022-10-07T23:48:50Z) - Evaluating Mixed-initiative Conversational Search Systems via User
Simulation [9.066817876491053]
このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。
Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
論文 参考訳（メタデータ） (2022-04-17T16:27:33Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳（メタデータ） (2021-05-07T00:12:34Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。