論文の概要: Adversarial and Safely Scaled Question Generation

• arxiv url: http://arxiv.org/abs/2210.09467v1
• Date: Mon, 17 Oct 2022 22:51:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 15:43:46.748432
• Title: Adversarial and Safely Scaled Question Generation
• Title（参考訳）: 敵対的かつ安全な質問生成
• Authors: Sreehari Sankar, Zhihang Dong
• Abstract要約: 我々は,質問生成の安全性問題にスケールで対処するための敵対的アプローチを導入する。 具体的には,解答不能な質問を抽出する質問応答システムを設計した。 結果に基づいて、品質に関する質問の6倍以上の数を生成できます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Question generation has recently gained a lot of research interest, especially with the advent of large language models. In and of itself, question generation can be considered 'AI-hard', as there is a lack of unanimously agreed sense of what makes a question 'good' or 'bad'. In this paper, we tackle two fundamental problems in parallel: on one hand, we try to solve the scaling problem, where question-generation and answering applications have to be applied to a massive amount of text without ground truth labeling. The usual approach to solve this problem is to either downsample or summarize. However, there are critical risks of misinformation with these approaches. On the other hand, and related to the misinformation problem, we try to solve the 'safety' problem, as many public institutions rely on a much higher level of accuracy for the content they provide. We introduce an adversarial approach to tackle the question generation safety problem with scale. Specifically, we designed a question-answering system that specifically prunes out unanswerable questions that may be generated, and further increases the quality of the answers that are generated. We build a production-ready, easily-plugged pipeline that can be used on any given body of text, that is scalable and immune from generating any hate speech, profanity, or misinformation. Based on the results, we are able to generate more than six times the number of quality questions generated by the abstractive approach, with a perceived quality being 44% higher, according to a survey of 168 participants.
• Abstract（参考訳）: 質問生成は、特に大規模言語モデルの出現によって、最近多くの研究関心を集めている。 それ自体は「よい」や「悪い」を何にするかという満場一致の理解がないため、質問生成は「あいまい」と見なすことができる。 本稿では,2つの基本的な問題に並列に対処する。一方,質問生成と回答のアプリケーションは,基礎的な真理ラベリングを伴わずに大量のテキストに適用する必要がある,スケーリング問題の解決を試みる。 この問題を解決するための一般的なアプローチは、ダウンサンプリングまたは要約である。 しかし、これらのアプローチには誤報の重大なリスクがある。 一方,誤情報問題に関しては,多くの公共機関が提供するコンテンツの精度をはるかに高めているため,この「安全」問題を解決しようと試みている。 我々は,質問生成の安全性問題にスケールで対処するための敵対的アプローチを導入する。 具体的には,生成する可能性のある不可解な質問を特に排除し,生成する回答の品質をさらに向上させる質問応答システムを設計した。 私たちは、どんなテキストでも使える、プロダクション対応で簡単にプラグイン可能なパイプラインを構築しています。 その結果,168名を対象にした調査によれば,抽象的アプローチによって生じる質的質問数の6倍以上を生成でき,品質が44%高いという認識が得られた。

関連論文リスト

• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)
• Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
  質問紙作成作業に特化して構築された最初のデータセットについて述べる。 我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。 チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
  論文  参考訳（メタデータ） (2024-02-22T04:14:10Z)
• Improving Question Generation with Multi-level Content Planning [70.37285816596527]
  本稿では、与えられたコンテキストと回答から質問を生成する問題に対処し、特に拡張されたコンテキストをまたいだマルチホップ推論を必要とする質問に焦点をあてる。 具体的には、キーフレーズを同時に選択して完全な回答を生成するFA-modelと、生成した全回答を付加的な入力として取り込んだQ-modelの2つのコンポーネントを含む。
  論文  参考訳（メタデータ） (2023-10-20T13:57:01Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• Selectively Answering Ambiguous Questions [38.83930394700588]
  我々は, サンプルモデル出力における繰り返しの定量化が, 退避時期を決定する最も信頼性の高い手法であることが判明した。 その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答のキャリブレーションに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-24T01:25:38Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)
• Stay Hungry, Stay Focused: Generating Informative and Specific Questions in Information-Seeking Conversations [41.74162467619795]
  情報非対称な会話における情報的質問生成の問題について検討する。 実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。 そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-04-30T00:49:14Z)
• Asking Questions the Human Way: Scalable Question-Answer Generation from Text Corpus [23.676748207014903]
  問合せ型質問生成(ACS-QG)を提案する。 ラベルなしテキストコーパスから高品質で多様な質問応答ペアを大規模に自動生成することを目的としている。 ウィキペディアで見つかった100万の文から、280万の質保証された質問応答ペアを生成することができる。
  論文  参考訳（メタデータ） (2020-01-27T05:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。