論文の概要: Predicting Subjective Features of Questions of QA Websites using BERT
- arxiv url: http://arxiv.org/abs/2002.10107v4
- Date: Wed, 28 Oct 2020 14:37:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 02:35:31.573740
- Title: Predicting Subjective Features of Questions of QA Websites using BERT
- Title（参考訳）: BERTを用いたQAウェブサイトの主観的特徴予測
- Authors: Issa Annamoradnejad, Mohammadamin Fazli, Jafar Habibi
- Abstract要約: コミュニティ質問-StackOverflowやQuoraといったWebサイトは、ユーザがコンテンツ品質を維持するために、特定のガイドラインに従うことを期待している。
我々は,QA Webサイトにおける質問の質や主観的な側面を20程度予測するモデルの提供を目指している。
単純な微調整によって、少ない時間と少ない量のデータで正確なモデルを実現できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Community Question-Answering websites, such as StackOverflow and Quora,
expect users to follow specific guidelines in order to maintain content
quality. These systems mainly rely on community reports for assessing contents,
which has serious problems such as the slow handling of violations, the loss of
normal and experienced users' time, the low quality of some reports, and
discouraging feedback to new users. Therefore, with the overall goal of
providing solutions for automating moderation actions in Q&A websites, we aim
to provide a model to predict 20 quality or subjective aspects of questions in
QA websites. To this end, we used data gathered by the CrowdSource team at
Google Research in 2019 and a fine-tuned pre-trained BERT model on our problem.
Based on the evaluation by Mean-Squared-Error (MSE), the model achieved a value
of 0.046 after 2 epochs of training, which did not improve substantially in the
next ones. Results confirm that by simple fine-tuning, we can achieve accurate
models in little time and on less amount of data.
- Abstract（参考訳）: コミュニティ質問-StackOverflowやQuoraといったWebサイトは、ユーザがコンテンツ品質を維持するために、特定のガイドラインに従うことを期待している。
これらのシステムは主に、コンテンツ評価のためのコミュニティレポートに依存しており、違反の処理の遅さ、正常および経験者時間の喪失、レポートの質の低下、新規ユーザへのフィードバックの回避といった深刻な問題を抱えている。
そこで本研究では,Q&A Webサイトにおけるモデレーション行動を自動化するソリューションを提供することを目標とし,QA Webサイトにおける質問の質や主観的な側面を20程度予測するモデルの提供を目的とする。
この目的のために、私たちは、2019年にGoogle ResearchでCrowdSourceチームが収集したデータと、私たちの問題に関する詳細なトレーニング済みのBERTモデルを使用しました。
mean-squared-error (mse) による評価に基づいて、2回のトレーニングで0.046の値を得たが、これは次のモデルでは大幅に改善されなかった。
結果は、単純な微調整によって、少ない時間と少ないデータ量で正確なモデルを実現できることを確認した。
関連論文リスト
- Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - Analysis of Video Quality Datasets via Design of Minimalistic Video Quality Models [71.06007696593704]
BVQA(Blind Quality Assessment)は、実世界のビデオ対応メディアアプリケーションにおけるエンドユーザの視聴体験の監視と改善に不可欠である。
実験分野として、BVQAモデルの改良は、主に数個の人間の評価されたVQAデータセットに基づいて測定されている。
最小主義的BVQAモデルを用いて,VQAデータセットの第一種計算解析を行う。
論文 参考訳（メタデータ） (2023-07-26T06:38:33Z) - Quality In / Quality Out: Assessing Data quality in an Anomaly Detection
Benchmark [0.13764085113103217]
同じベンチマークデータセット(異常検出のためのフローベースリアルタイムデータセットであるUGR'16)に対する比較的小さな変更は、考慮した機械学習技術よりも、モデルパフォーマンスに著しく影響することを示します。
この結果から,自律型ネットワークにおけるデータ品質評価と最適化技術に,より注意を払う必要があることが示唆された。
論文 参考訳（メタデータ） (2023-05-31T12:03:12Z) - What Else Do I Need to Know? The Effect of Background Information on
Users' Reliance on QA Systems [23.69129423040988]
本研究では,予測に十分な情報がない場合のQAシステムとのインタラクションについて検討する。
本研究は,モデルの正しさを評価するのに十分な情報がない場合でも,利用者がモデル予測に頼っていることを明らかにした。
論文 参考訳（メタデータ） (2023-05-23T17:57:12Z) - Shortcomings of Question Answering Based Factuality Frameworks for Error
Localization [51.01957350348377]
質問応答(QA)に基づく事実性指標は、生成した要約の誤り範囲を正しく識別できないことを示す。
このようなローカライゼーションが不十分な理由として,QGモジュールが生成した質問は,非実数的な要約から誤りを継承することが多く,さらに下流モジュールに伝播する。
本実験は,より強力なQAモデルとQGモデルでのみ修正できないQAフレームワークを用いた局所化に関する根本的な問題が存在することを確定的に示す。
論文 参考訳（メタデータ） (2022-10-13T05:23:38Z) - Quiz-Style Question Generation for News Stories [1.1905186133527312]
本稿では,最近のニュースの知識をユーザに提供するクイズ型複数選択質問生成の課題について検討する。
クイズ形式の質問応答生成を目的とした最初のデータセットであるNewsQuizQAを紹介します。
私たちのモデルは、自動メトリックとヒューマンレーティングの両方を使用して強力なベースラインを上回ります。
論文 参考訳（メタデータ） (2021-02-18T01:06:58Z) - Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。
本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。
我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
論文 参考訳（メタデータ） (2020-10-19T17:30:08Z) - Mining Implicit Relevance Feedback from User Behavior for Web Question
Answering [92.45607094299181]
本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。
提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。
実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
論文 参考訳（メタデータ） (2020-06-13T07:02:08Z) - Support-BERT: Predicting Quality of Question-Answer Pairs in MSDN using
Deep Bidirectional Transformer [7.818765015637801]
我々は,最近開発された双方向トランスフォーマーを用いたディープラーニングモデルを用いて,コミュニティ支援Webサイトの品質Q&Aモデリング問題に取り組む。
Microsoft Developer Network(MSDN)から抽出したQ&Aの微調整とともに、モデルをさらに事前トレーニングすることで、自動品質予測のパフォーマンスが80%以上向上することが判明した。
論文 参考訳（メタデータ） (2020-05-17T16:50:28Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳（メタデータ） (2020-05-06T15:56:06Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2020-04-24T17:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。