論文の概要: CausalQuest: Collecting Natural Causal Questions for AI Agents
- arxiv url: http://arxiv.org/abs/2405.20318v1
- Date: Thu, 30 May 2024 17:55:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-05-31 13:00:01.257266
- Title: CausalQuest: Collecting Natural Causal Questions for AI Agents
- Title（参考訳）: CausalQuest:AIエージェントに対する自然な因果質問の収集
- Authors: Roberto Ceraolo, Dmitrii Kharlapenko, Amélie Reymond, Rada Mihalcea, Mrinmaya Sachan, Bernhard Schölkopf, Zhijing Jin,
- Abstract要約: CausalQuestは、ソーシャルネットワーク、検索エンジン、AIアシスタントから得られる自然発生の質問13,500のデータセットである。
我々は因果問題の定義を定式化し、よりきめ細かい分類のための分類法を確立する。
人類が問う質問の42%は本当に因果関係であり、大多数は与えられた影響の背後にある原因を理解しようとしている。
- 参考スコア（独自算出の注目度）: 95.34262362200695
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Humans have an innate drive to seek out causality. Whether fuelled by curiosity or specific goals, we constantly question why things happen, how they are interconnected, and many other related phenomena. To develop AI agents capable of addressing this natural human quest for causality, we urgently need a comprehensive dataset of natural causal questions. Unfortunately, existing datasets either contain only artificially-crafted questions that do not reflect real AI usage scenarios or have limited coverage of questions from specific sources. To address this gap, we present CausalQuest, a dataset of 13,500 naturally occurring questions sourced from social networks, search engines, and AI assistants. We formalize the definition of causal questions and establish a taxonomy for finer-grained classification. Through a combined effort of human annotators and large language models (LLMs), we carefully label the dataset. We find that 42% of the questions humans ask are indeed causal, with the majority seeking to understand the causes behind given effects. Using this dataset, we train efficient classifiers (up to 2.85B parameters) for the binary task of identifying causal questions, achieving high performance with F1 scores of up to 0.877. We conclude with a rich set of future research directions that can build upon our data and models.
- Abstract（参考訳）: 人間は因果関係を探究する原動力を持っている。
好奇心や特定の目標によって刺激されるかどうかに関わらず、なぜ物事が起こるのか、どのように相互接続されているのか、その他多くの関連する現象に常に疑問を呈する。
この自然な人間による因果関係の探求に対処できるAIエージェントを開発するには、自然因果関係の包括的なデータセットを緊急に必要とします。
残念ながら、既存のデータセットには、実際のAI使用シナリオを反映しない人工的な質問のみが含まれているか、特定のソースからの質問を限定的にカバーしている。
このギャップに対処するために、ソーシャルネットワーク、検索エンジン、AIアシスタントから自然に発生する13,500の質問のデータセットであるCausalQuestを紹介します。
我々は因果問題の定義を定式化し、よりきめ細かい分類のための分類法を確立する。
人間のアノテータと大規模言語モデル(LLM)の組み合わせにより、データセットを慎重にラベル付けする。
人類が問う質問の42%は本当に因果関係であり、大多数は与えられた影響の背後にある原因を理解しようとしている。
このデータセットを用いて、因果質問を識別するバイナリタスクに対して、最大2.85Bパラメータの効率的な分類器を訓練し、最大0.877のF1スコアで高い性能を達成する。
私たちは、データとモデルに基づいて構築できる、将来の研究方向性の豊富なセットで締めくくります。
関連論文リスト
- Exploring Human-LLM Conversations: Mental Models and the Originator of Toxicity [1.4003044924094596]
本研究では,大規模言語モデル(LLM)と実世界の人間のインタラクションを多様で制約のない環境で探索する。
以上の結果から,LSMは毒性のある物質を供給していると正しく非難されているものの,その内容を求める人間に要求されているか,少なくとも引き起こされていることが示唆された。
論文 参考訳（メタデータ） (2024-07-08T14:20:05Z) - Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
質問紙作成作業に特化して構築された最初のデータセットについて述べる。
我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。
チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
論文 参考訳（メタデータ） (2024-02-22T04:14:10Z) - A Comparative and Experimental Study on Automatic Question Answering
Systems and its Robustness against Word Jumbling [0.49157446832511503]
なぜなら、頻繁に質問される質問(FAQ)リストは、限られた数の質問しか持たないからである。
質問応答生成が可能なモデルは、データの範囲内にある全く新しい質問に答えることができる。
商用アプリケーションでは、顧客満足度と使いやすさを高めるために使用することができる。
しかし、多くのデータは人間によって生成されるため、ヒューマンエラーの影響を受けやすく、モデルの性能に悪影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-11-27T03:17:09Z) - FOLLOWUPQG: Towards Information-Seeking Follow-up Question Generation [38.78216651059955]
実世界の情報検索フォローアップ質問生成(FQG)の課題について紹介する。
オープンエンド質問に対するRedditフレンドリーな説明を提供するフォーラムレイマンから収集した,3K以上の実世界のデータセット(初期質問,回答,フォローアップ質問)であるFOLLOWUPQGを構築した。
既存のデータセットとは対照的に、FOLLOWUPQGの質問は情報を求めるためにより多様な実用的戦略を使用し、高次認知能力も示している。
論文 参考訳（メタデータ） (2023-09-10T11:58:29Z) - Overinformative Question Answering by Humans and Machines [26.31070412632125]
人間の回答における過剰な表現性は、質問者の目標に対する関連性を考えることによって引き起こされることを示す。
本研究は, GPT-3が, 実例と認知動機のある説明によって導かれるときの, 刺激的かつ人間的な回答パターンの形式に非常に敏感であることを示す。
論文 参考訳（メタデータ） (2023-05-11T21:41:41Z) - WebCPM: Interactive Web Search for Chinese Long-form Question Answering [104.676752359777]
LFQA(Long-form Question answering)は、複雑でオープンな質問に、段落長の詳細な回答で答えることを目的としている。
中国初のLFQAデータセットであるWebCPMを紹介する。
高品質な質問応答対5,500件,支援事実14,315件,Web検索121,330件を収集した。
論文 参考訳（メタデータ） (2023-05-11T14:47:29Z) - Zero-shot Clarifying Question Generation for Conversational Search [25.514678546942754]
本稿では,質問テンプレートとクエリファセットの両方を用いて,効果的かつ正確な質問生成を導く制約付き質問生成システムを提案する。
実験の結果,提案手法は既存のゼロショットベースラインよりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (2023-01-30T04:43:02Z) - JECC: Commonsense Reasoning Tasks Derived from Interactive Fictions [75.42526766746515]
本稿では,人間のインタラクティブ・フィクション(IF)ゲームプレイ・ウォークスルーに基づく新しいコモンセンス推論データセットを提案する。
本データセットは,事実知識ではなく,機能的コモンセンス知識ルールの評価に重点を置いている。
実験の結果、導入したデータセットは、以前の機械読影モデルと新しい大規模言語モデルに難題であることが示されている。
論文 参考訳（メタデータ） (2022-10-18T19:20:53Z) - ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational
Finance Question Answering [70.6359636116848]
本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。
我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
論文 参考訳（メタデータ） (2022-10-07T23:48:50Z) - Evaluating Mixed-initiative Conversational Search Systems via User
Simulation [9.066817876491053]
このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。
Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
論文 参考訳（メタデータ） (2022-04-17T16:27:33Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳（メタデータ） (2021-05-07T00:12:34Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。