論文の概要: TriviaHG: A Dataset for Automatic Hint Generation from Factoid Questions
- arxiv url: http://arxiv.org/abs/2403.18426v2
- Date: Fri, 10 May 2024 17:10:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-13 18:05:28.264877
- Title: TriviaHG: A Dataset for Automatic Hint Generation from Factoid Questions
- Title（参考訳）: TriviaHG: ファクトイドからのヒント自動生成のためのデータセット
- Authors: Jamshid Mozafari, Anubhav Jangra, Adam Jatowt,
- Abstract要約: ファクトイド問題に対するヒント自動生成のためのフレームワークを提案する。
我々はTriviaQAデータセットから16,645の質問に対応する160,230のヒントを含む新しい大規模データセットを構築した。
提案手法とTriviaHGデータセットを評価するために,提案したヒントを用いて10名の個人に2,791のヒントを注釈付け,6名の人間に回答を指示した。
- 参考スコア（独自算出の注目度）: 20.510164413931577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nowadays, individuals tend to engage in dialogues with Large Language Models, seeking answers to their questions. In times when such answers are readily accessible to anyone, the stimulation and preservation of human's cognitive abilities, as well as the assurance of maintaining good reasoning skills by humans becomes crucial. This study addresses such needs by proposing hints (instead of final answers or before giving answers) as a viable solution. We introduce a framework for the automatic hint generation for factoid questions, employing it to construct TriviaHG, a novel large-scale dataset featuring 160,230 hints corresponding to 16,645 questions from the TriviaQA dataset. Additionally, we present an automatic evaluation method that measures the Convergence and Familiarity quality attributes of hints. To evaluate the TriviaHG dataset and the proposed evaluation method, we enlisted 10 individuals to annotate 2,791 hints and tasked 6 humans with answering questions using the provided hints. The effectiveness of hints varied, with success rates of 96%, 78%, and 36% for questions with easy, medium, and hard answers, respectively. Moreover, the proposed automatic evaluation methods showed a robust correlation with annotators' results. Conclusively, the findings highlight three key insights: the facilitative role of hints in resolving unknown questions, the dependence of hint quality on answer difficulty, and the feasibility of employing automatic evaluation methods for hint assessment.
- Abstract（参考訳）: 今日では、個人は大きな言語モデルと対話し、質問に対する回答を求める傾向にある。
このような答えが誰にでも手に入るようになると、人間の認知能力の刺激と維持、そして人間による良質な推論技術を維持することの保証が重要になる。
この研究は、(最終回答よりもむしろ)ヒントを実行可能な解として提案することで、そのようなニーズに対処する。
ファクトイド質問の自動ヒント生成のためのフレームワークを導入し、TriviaQAデータセットから16,645の質問に対応する160,230のヒントを含む新しい大規模データセットであるTriviaHGを構築した。
さらに,ヒントの収束度と親しみやすさの属性を自動評価する手法を提案する。
提案手法とTriviaHGデータセットを評価するために,提案したヒントを用いて10名の個人に2,791のヒントを注釈付け,6名の人間に回答を指示した。
96%, 78%, 36%で, 解答は易解, 中解, 難解であった。
さらに,提案手法はアノテータの結果と頑健な相関を示した。
結論として, 未知の質問の解決におけるヒントの促進的役割, 回答の難易度に対するヒント品質の依存性, ヒント評価のための自動評価手法の適用可能性, の3つの重要な知見が浮かび上がった。
関連論文リスト
- Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。
我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
論文 参考訳（メタデータ） (2024-02-23T02:24:36Z) - Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
質問紙作成作業に特化して構築された最初のデータセットについて述べる。
我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。
チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
論文 参考訳（メタデータ） (2024-02-22T04:14:10Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳（メタデータ） (2023-09-14T16:54:34Z) - Obj2Sub: Unsupervised Conversion of Objective to Subjective Questions [1.4680035572775534]
そこで本研究では,ルールベースの手法と事前学習された高密度検索手法を利用して,対象質問を主観的質問に自動変換する手法を提案する。
Recall@kとPrecision@kが測定したように、我々のアプローチは既存のデータ駆動アプローチよりも36.45%優れています。
論文 参考訳（メタデータ） (2022-05-25T11:46:46Z) - What should I Ask: A Knowledge-driven Approach for Follow-up Questions
Generation in Conversational Surveys [63.51903260461746]
対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。
そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。
次に,その課題に対する2段階の知識駆動モデルを提案する。
論文 参考訳（メタデータ） (2022-05-23T00:57:33Z) - Reinforcement Learning for Abstractive Question Summarization with
Question-aware Semantic Rewards [20.342580435464072]
本稿では,抽象的な質問要約のための強化学習に基づくフレームワークを提案する。
i)質問型識別と(ii)質問焦点認識の下流タスクから得られる2つの新しい報酬を提案する。
これらの報酬は意味論的に有効な質問の生成を確実にし、質問要約に重要な医療機関/焦点を取り入れることを奨励する。
論文 参考訳（メタデータ） (2021-07-01T02:06:46Z) - Predicting respondent difficulty in web surveys: A machine-learning
approach based on mouse movement features [3.6944296923226316]
本稿では,マウス追跡データの予測値について,回答者の難易度について検討する。
我々は、回答者の就業履歴と人口統計情報に関する調査データを用いている。
そこで,本研究では,基本マウスの行動を調整するパーソナライズ手法を開発し,その性能を評価する。
論文 参考訳（メタデータ） (2020-11-05T10:54:33Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z) - Stay Hungry, Stay Focused: Generating Informative and Specific Questions
in Information-Seeking Conversations [41.74162467619795]
情報非対称な会話における情報的質問生成の問題について検討する。
実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。
そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2020-04-30T00:49:14Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳（メタデータ） (2020-04-20T13:26:45Z) - Review-guided Helpful Answer Identification in E-commerce [38.276241153439955]
製品固有のコミュニティ質問応答プラットフォームは、潜在的な顧客の懸念に対処するのに大いに役立ちます。
このようなプラットフォーム上でユーザが提供する回答は、その品質に大きく違いがあります。
コミュニティからのヘルプフルネスの投票は、回答の全体的な品質を示すことができるが、しばしば欠落している。
論文 参考訳（メタデータ） (2020-03-13T11:34:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。