論文の概要: Connecting Humanities and Social Sciences: Applying Language and Speech
Technology to Online Panel Surveys
- arxiv url: http://arxiv.org/abs/2302.10593v1
- Date: Tue, 21 Feb 2023 10:52:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 15:40:38.524760
- Title: Connecting Humanities and Social Sciences: Applying Language and Speech
Technology to Online Panel Surveys
- Title(参考訳): 人文科学と社会科学をつなぐ:オンラインパネル調査への言語と音声技術の適用
- Authors: Henk van den Heuvel, Martijn Bentum, Simone Wills, Judith C. Koops
- Abstract要約: オランダのパネル調査において,言語と音声技術のオープンエンド質問への適用について検討した。
実験波では、回答者は音声やキーボードを使ってオープンな質問に答えることができた。
本稿では,ASRシステムが生成した誤りを報告し,これらの誤りが下流解析に与える影響について検討する。
- 参考スコア(独自算出の注目度): 2.0646127669654835
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this paper, we explore the application of language and speech technology
to open-ended questions in a Dutch panel survey. In an experimental wave
respondents could choose to answer open questions via speech or keyboard.
Automatic speech recognition (ASR) was used to process spoken responses. We
evaluated answers from these input modalities to investigate differences
between spoken and typed answers.We report the errors the ASR system produces
and investigate the impact of these errors on downstream analyses. Open-ended
questions give more freedom to answer for respondents, but entail a non-trivial
amount of work to analyse. We evaluated the feasibility of using
transformer-based models (e.g. BERT) to apply sentiment analysis and topic
modelling on the answers of open questions. A big advantage of
transformer-based models is that they are trained on a large amount of language
materials and do not necessarily need training on the target materials. This is
especially advantageous for survey data, which does not contain a lot of text
materials. We tested the quality of automatic sentiment analysis by comparing
automatic labeling with three human raters and tested the robustness of topic
modelling by comparing the generated models based on automatic and manually
transcribed spoken answers.
- Abstract(参考訳): 本稿では,オランダのパネル調査において,オープンエンド質問に対する言語と音声技術の応用について検討する。
実験的なウェーブでは、回答者は音声やキーボードで質問に答えることができた。
音声応答処理には自動音声認識(asr)を用いた。
我々は、これらの入力モードからの回答を評価し、音声とタイプされた回答の違いを調査し、ASRシステムが生成した誤りを報告し、これらの誤りが下流分析に与える影響について調査した。
オープンエンドの質問は、回答者に回答する自由を与えるが、分析するためには自明な作業が伴う。
オープンな質問の回答に感情分析とトピックモデリングを適用するためにトランスフォーマーベースモデル(例えばBERT)の有効性を評価した。
トランスフォーマーベースのモデルの大きな利点は、大量の言語材料でトレーニングされ、必ずしも対象材料でのトレーニングを必要としないことである。
これは、多くのテキスト資料を含まない調査データにとって特に有利である。
3人のラベリングと自動ラベリングを比較して自動感情分析の質を検証し、自動および手書き音声による回答に基づいて生成されたモデルを比較してトピックモデリングの頑健さを検証した。
関連論文リスト
- ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳(メタデータ) (2023-09-14T16:54:34Z) - Promoting Open-domain Dialogue Generation through Learning Pattern
Information between Contexts and Responses [5.936682548344234]
本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。
また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
論文 参考訳(メタデータ) (2023-09-06T08:11:39Z) - Discourse Analysis via Questions and Answers: Parsing Dependency
Structures of Questions Under Discussion [57.43781399856913]
この研究は、談話分析にQUD(Language framework of Questions Under discussion)を採用する。
我々は、文間の関係を、徹底的なきめ細かい質問とは対照的に、自由形式の質問として特徴づける。
完全文書上の質問の依存関係構造を導出する第一種QUDを開発する。
論文 参考訳(メタデータ) (2022-10-12T03:53:12Z) - Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。
我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。
第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
論文 参考訳(メタデータ) (2022-05-30T16:26:02Z) - Evaluating Mixed-initiative Conversational Search Systems via User
Simulation [9.066817876491053]
このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。
Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
論文 参考訳(メタデータ) (2022-04-17T16:27:33Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring [60.55025339250815]
本研究では、話者条件付き階層型モデリングと呼ばれる非ネイティブASSのための新しいディープラーニング手法を提案する。
本手法では, 口腔熟練度テストが候補に対して複数の応答を評価できるという事実を生かして, 候補に対して複数の応答を評価できる。これらの応答からコンテキストを抽出し, ネットワークに付加的な話者固有のコンテキストとして与えて, 特定の応答をスコアする。
論文 参考訳(メタデータ) (2021-08-30T07:00:28Z) - Towards Data Distillation for End-to-end Spoken Conversational Question
Answering [65.124088336738]
音声対話型質問応答タスク(SCQA)を提案する。
SCQAは,音声発話とテキストコーパスから複雑な対話の流れをモデル化することを目的としている。
我々の主な目的は、音声とテキストの両方で会話的な質問に対処するQAシステムを構築することである。
論文 参考訳(メタデータ) (2020-10-18T05:53:39Z) - A Wrong Answer or a Wrong Question? An Intricate Relationship between
Question Reformulation and Answer Selection in Conversational Question
Answering [15.355557454305776]
会話の文脈における質問書き直し(QR)は、この現象により多くの光を放つことができることを示す。
TREC CAsT と QuAC (CANARD) のデータセットを用いて解析を行った。
論文 参考訳(メタデータ) (2020-10-13T06:29:51Z) - Speaker Sensitive Response Evaluation Model [17.381658875470638]
本稿では,生成した応答と会話コンテキストとの類似性に基づく自動評価モデルを提案する。
ラベルのない会話コーパスからモデルパラメータを学習する。
我々のモデルは、追加の訓練なしに映画対話に適用できることが示される。
論文 参考訳(メタデータ) (2020-06-12T08:59:10Z) - Knowledgeable Dialogue Reading Comprehension on Key Turns [84.1784903043884]
MRC(Multi-choice Machine reading comprehension)は、ある項目と質問に対する候補オプションから正しい回答を選択するモデルである。
本研究は,複数回対話を行う対話型MRCに焦点を当てている。
それは2つの課題に悩まされ、答えの選択決定は、最近役に立つコモンセンスをサポートせずに行われ、マルチターンコンテキストは、かなりの無関係な情報を隠蔽する可能性がある。
論文 参考訳(メタデータ) (2020-04-29T07:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。