論文の概要: Obj2Sub: Unsupervised Conversion of Objective to Subjective Questions
- arxiv url: http://arxiv.org/abs/2206.11848v1
- Date: Wed, 25 May 2022 11:46:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-26 08:20:21.606571
- Title: Obj2Sub: Unsupervised Conversion of Objective to Subjective Questions
- Title(参考訳): Obj2Sub: 客観的から主観的質問への教師なし変換
- Authors: Aarish Chhabra, Nandini Bansal, Venktesh V, Mukesh Mohania and Deep
Dwivedi
- Abstract要約: そこで本研究では,ルールベースの手法と事前学習された高密度検索手法を利用して,対象質問を主観的質問に自動変換する手法を提案する。
Recall@kとPrecision@kが測定したように、我々のアプローチは既存のデータ駆動アプローチよりも36.45%優れています。
- 参考スコア(独自算出の注目度): 1.4680035572775534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exams are conducted to test the learner's understanding of the subject. To
prevent the learners from guessing or exchanging solutions, the mode of tests
administered must have sufficient subjective questions that can gauge whether
the learner has understood the concept by mandating a detailed answer. Hence,
in this paper, we propose a novel hybrid unsupervised approach leveraging
rule-based methods and pre-trained dense retrievers for the novel task of
automatically converting the objective questions to subjective questions. We
observe that our approach outperforms the existing data-driven approaches by
36.45% as measured by Recall@k and Precision@k.
- Abstract(参考訳): 試験は、学習者の主題に対する理解をテストするために行われる。
学習者が解を推測したり交換したりするのを防ぐために、実行されたテストの方法には十分な主観的疑問があり、詳細な回答を提示することで学習者が概念を理解したかどうかを判断する必要がある。
そこで本研究では,ルールベース手法と事前学習した高密度検索手法を併用して,対象質問を主観的質問に自動変換する手法を提案する。
このアプローチが既存のデータ駆動アプローチを36.45%上回っていることをrecall@kとprecision@kで測定した。
関連論文リスト
- RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。
本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
論文 参考訳(メタデータ) (2024-10-18T16:11:29Z) - TriviaHG: A Dataset for Automatic Hint Generation from Factoid Questions [20.510164413931577]
ファクトイド問題に対するヒント自動生成のためのフレームワークを提案する。
我々はTriviaQAデータセットから16,645の質問に対応する160,230のヒントを含む新しい大規模データセットを構築した。
提案手法とTriviaHGデータセットを評価するために,提案したヒントを用いて10名の個人に2,791のヒントを注釈付け,6名の人間に回答を指示した。
論文 参考訳(メタデータ) (2024-03-27T10:27:28Z) - Distractor Generation in Multiple-Choice Tasks: A Survey of Methods, Datasets, and Evaluation [20.14906249952034]
イントラクタ生成タスクは、客観的な質問に対して不正確だが妥当な選択肢を生成することに焦点を当てる。
人工知能(AI)の進化は、タスクを従来の手法からニューラルネットワークや事前訓練された言語モデルに移行した。
本調査では、英語の客観的質問に対して、イントラクタ生成タスク、データセット、メソッド、および現在の評価指標について検討する。
論文 参考訳(メタデータ) (2024-02-02T15:53:31Z) - Towards Reliable and Factual Response Generation: Detecting Unanswerable
Questions in Information-Seeking Conversations [16.99952884041096]
生成的AIモデルは、そのようなシステムに対するユーザの信頼を損なう可能性のある幻覚の課題に直面します。
本稿では,まずコーパス内の関連するパスを識別し,最後にシステム応答にまとめる2段階のプロセスとして,会話情報探索の問題にアプローチする。
具体的には,文レベル分類器を用いて解答の有無を判定し,これらの予測を文レベルに集約し,最後に最終解答可能性推定値に到達する。
論文 参考訳(メタデータ) (2024-01-21T10:15:36Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳(メタデータ) (2023-11-16T00:18:50Z) - Socratic Pretraining: Question-Driven Pretraining for Controllable
Summarization [89.04537372465612]
ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。
以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
論文 参考訳(メタデータ) (2022-12-20T17:27:10Z) - Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。
本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
論文 参考訳(メタデータ) (2022-12-12T08:28:22Z) - On the Evaluation of Answer-Agnostic Paragraph-level Multi-Question
Generation [57.630606799713526]
本研究は,所定の段落から有意な質問の集合を予測するタスクについて,その解答の事前知識を伴わずに検討する。
まず、ハンガリーのアルゴリズムを用いて、提案したペアをスコア付けする前に、予測された質問を参照に割り当てることにより、参照の集合に対して予測された質問の集合を評価する新しい手法を提案する。
第2に,事前学習したseq2seqモデルを用いて,与えられた段落に関連する質問の集合を生成し,選択するための異なる戦略を比較した。
論文 参考訳(メタデータ) (2022-03-09T00:55:54Z) - Reinforcement Learning for Abstractive Question Summarization with
Question-aware Semantic Rewards [20.342580435464072]
本稿では,抽象的な質問要約のための強化学習に基づくフレームワークを提案する。
i)質問型識別と(ii)質問焦点認識の下流タスクから得られる2つの新しい報酬を提案する。
これらの報酬は意味論的に有効な質問の生成を確実にし、質問要約に重要な医療機関/焦点を取り入れることを奨励する。
論文 参考訳(メタデータ) (2021-07-01T02:06:46Z) - Visual Question Answering with Prior Class Semantics [50.845003775809836]
候補解のセマンティクスに関連する追加情報を利用する方法を示す。
セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。
提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
論文 参考訳(メタデータ) (2020-05-04T02:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。