論文の概要: Double-Barreled Question Detection at Momentive

• arxiv url: http://arxiv.org/abs/2203.03545v1
• Date: Sat, 12 Feb 2022 00:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-13 14:00:12.504345
• Title: Double-Barreled Question Detection at Momentive
• Title（参考訳）: モーメントにおける二重障壁質問検出
• Authors: Peng Jiang, Krishna Sumanth Muppalla, Qing Wei, Chidambara Natarajan Gopal, Chun Wang
• Abstract要約: ダブルバレル質問(ダブルバレル質問、DBQ)は、ある質問において2つの側面を問うバイアス付き質問の一種である。 MomentiveはDBQを検出して,高品質な偏見のない調査データを収集するための変更を,サーベイクリエータに推奨する。 本稿では,DBQ分類のためのエンドツーエンドの機械学習手法を提案する。
• 参考スコア（独自算出の注目度）: 6.783610970053343
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Momentive offers solutions in market research, customer experience, and enterprise feedback. The technology is gleaned from the billions of real responses to questions asked on the platform. However, people may create biased questions. A double-barreled question (DBQ) is a common type of biased question that asks two aspects in one question. For example, "Do you agree with the statement: The food is yummy, and the service is great.". This DBQ confuses survey respondents because there are two parts in a question. DBQs impact both the survey respondents and the survey owners. Momentive aims to detect DBQs and recommend survey creators to make a change towards gathering high quality unbiased survey data. Previous research work has suggested detecting DBQs by checking the existence of grammatical conjunction. While this is a simple rule-based approach, this method is error-prone because conjunctions can also exist in properly constructed questions. We present an end-to-end machine learning approach for DBQ classification in this work. We handled this imbalanced data using active learning, and compared state-of-the-art embedding algorithms to transform text data into vectors. Furthermore, we proposed a model interpretation technique propagating the vector-level SHAP values to a SHAP value for each word in the questions. We concluded that the word2vec subword embedding with maximum pooling is the optimal word embedding representation in terms of precision and running time in the offline experiments using the survey data at Momentive. The A/B test and production metrics indicate that this model brings a positive change to the business. To the best of our knowledge, this is the first machine learning framework for DBQ detection, and it successfully differentiates Momentive from the competitors. We hope our work sheds light on machine learning approaches for bias question detection.
• Abstract（参考訳）: Momentiveは市場調査、顧客エクスペリエンス、企業フィードバックのソリューションを提供する。 この技術は、何十億もの本当の反応から、プラットフォーム上で質問された質問へと導かれる。 しかし、人々は偏った質問をすることがある。 ダブルバレル質問(DBQ)は、ある質問において2つの側面を問うバイアス付き質問の一種である。 例えば、"食べ物はおいしいし、サービスは素晴らしい"という声明に同意しますか? このdbqは質問に2つの部分があるため、回答者を混乱させます。 DBQは調査回答者と調査所有者の両方に影響を与える。 MomentiveはDBQの検出と,高品質な偏見のない調査データ収集への変更を推奨する。 これまでの研究では、文法的結合の存在をチェックすることでdbqを検出することを提案している。 これは単純なルールベースのアプローチであるが、適切に構築された質問にも結合が存在するため、この方法はエラーを起こしやすい。 本稿では,DBQ分類のためのエンドツーエンド機械学習手法を提案する。 この不均衡なデータをアクティブラーニングを用いて処理し、最先端の埋め込みアルゴリズムを比較してテキストデータをベクトルに変換する。 さらに,質問文の各単語に対して,ベクトルレベルのシェープ値をシェープ値に伝達するモデル解釈手法を提案する。 我々は,最大プーリングを伴うword2vecサブワード埋め込みは,調査データを用いたオフライン実験において,精度と実行時間の観点から最適な単語埋め込み表現であると結論づけた。 a/bテストと製品メトリクスは、このモデルがビジネスにポジティブな変化をもたらすことを示している。 私たちの知る限りでは、これはDBQ検出のための最初の機械学習フレームワークであり、Momentiveをライバルと区別することに成功しています。 私たちは、バイアス問題検出のための機械学習アプローチに光を当てることを願っています。

関連論文リスト

• Diversity Enhanced Narrative Question Generation for Storybooks [4.043005183192124]
  マルチクエスト生成モデル(mQG)を導入し,複数の,多様な,回答可能な質問を生成する。 生成した質問の応答性を検証するために,SQuAD2.0の微調整された質問応答モデルを用いる。 mQGは、強力なベースラインの中で、様々な評価指標で有望な結果を示している。
  論文  参考訳（メタデータ） (2023-10-25T08:10:04Z)
• QUADRo: Dataset and Models for QUestion-Answer Database Retrieval [97.84448420852854]
  質問/回答(q/a)ペアのデータベース(DB)が与えられた場合、同じ質問に対してDBをスキャンすることで、対象の質問に答えることができる。 我々は6.3Mのq/aペアからなる大規模DBを構築し、公開質問を用いて、ニューラルIRとq/aペアリランカに基づく新しいシステムを設計する。 我々は、Bing検索エンジン上に構築されたQAシステムという、Webベースの手法とDBベースのアプローチが競合することを示す。
  論文  参考訳（メタデータ） (2023-03-30T00:42:07Z)
• Toward Unsupervised Realistic Visual Question Answering [70.67698100148414]
  現実的なVQA(RVQA)の問題について検討し、モデルが答えられない質問(UQ)を拒絶し、答えられる質問(AQ)に答えなければならない。 1)データセットには不整合UQが多すぎること,(2)多数の注釈付きUQがトレーニングに必要とされること,の2つの欠点を最初に指摘した。 我々は、既存のVQAデータセットのAQと約29万の人間の注釈付きUQを組み合わせた新しいテストデータセットRGQAを提案する。 これは、画像と質問をランダムにペアリングして得られる擬似UQと、それを結合する。
  論文  参考訳（メタデータ） (2023-03-09T06:58:29Z)
• Learning to Retrieve Engaging Follow-Up Queries [12.380514998172199]
  ユーザが持つ可能性のある次の質問を予測するための検索ベースシステムと関連するデータセットを提案する。 このようなシステムは,ユーザの知識探索を積極的に支援することで,より活発な対話を実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:26:23Z)
• Question Answering Survey: Directions, Challenges, Datasets, Evaluation Matrices [0.0]
  QA分野の研究の方向性は,質問の種類,回答の種類,根拠の源泉,モデリングアプローチに基づいて分析される。 これに続き、自動質問生成、類似性検出、言語に対する低リソース可用性など、この分野のオープンな課題が続きます。
  論文  参考訳（メタデータ） (2021-12-07T08:53:40Z)
• Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding [140.5911760063681]
  VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。 視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
  論文  参考訳（メタデータ） (2020-12-14T00:33:44Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering [15.355557454305776]
  会話の文脈における質問書き直し(QR)は、この現象により多くの光を放つことができることを示す。 TREC CAsT と QuAC (CANARD) のデータセットを用いて解析を行った。
  論文  参考訳（メタデータ） (2020-10-13T06:29:51Z)
• Match$^2$: A Matching over Matching Model for Similar Question Identification [74.7142127303489]
  コミュニティ質問回答(Community Question Answering, CQA)は,質問や回答の提出を自由に行う,知識獲得のための主要な手段となっている。 類似した質問識別は、CQAの中核的なタスクとなり、新しい質問が尋ねられるたびに、アーカイブされたリポジトリから同様の質問を見つけることを目的としている。 自然言語の固有のバリエーション、すなわち、同じ質問をしたり、同じ表現を共有する異なる質問をする方法があるため、この2つの質問の類似性を適切に測定することは、長い間困難であった。 従来の手法では片側の使用が一般的であり、答えを拡張された表現として活用する。
  論文  参考訳（メタデータ） (2020-06-21T05:59:34Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。