Fugu-MT 論文翻訳(概要): Reproducibility, Replicability and Beyond: Assessing Production Readiness of Aspect Based Sentiment Analysis in the Wild

論文の概要: Reproducibility, Replicability and Beyond: Assessing Production Readiness of Aspect Based Sentiment Analysis in the Wild

arxiv url: http://arxiv.org/abs/2101.09449v1
Date: Sat, 23 Jan 2021 07:45:27 GMT
ステータス: 処理完了
システム内更新日: 2021-03-20 13:50:06.055837
Title: Reproducibility, Replicability and Beyond: Assessing Production Readiness of Aspect Based Sentiment Analysis in the Wild
Title（参考訳）: 再現性、再現性およびそれ以上性:野生動物におけるアスペクトベース感情分析の生産準備性の評価
Authors: Rajdeep Mukherjee, Shreyas Shetty, Subrata Chattopadhyay, Subhadeep Maji, Samik Datta and Pawan Goyal
Abstract要約: 実践者のレンズを通して過去6年間に公開されたモデルの代表的なサンプルを批判的にレビューする。 2つの挑戦的なデータスライスの実験を報告し、12～55%の精度低下を観測した。インドにある大規模なeコマースポータルから2つの大規模なアノテートレビューコーパスをオープンソース化し、複製性と転送の研究を支援します。
参考スコア（独自算出の注目度）: 10.629712078346694
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the exponential growth of online marketplaces and user-generated content therein, aspect-based sentiment analysis has become more important than ever. In this work, we critically review a representative sample of the models published during the past six years through the lens of a practitioner, with an eye towards deployment in production. First, our rigorous empirical evaluation reveals poor reproducibility: an average 4-5% drop in test accuracy across the sample. Second, to further bolster our confidence in empirical evaluation, we report experiments on two challenging data slices, and observe a consistent 12-55% drop in accuracy. Third, we study the possibility of transfer across domains and observe that as little as 10-25% of the domain-specific training dataset, when used in conjunction with datasets from other domains within the same locale, largely closes the gap between complete cross-domain and complete in-domain predictive performance. Lastly, we open-source two large-scale annotated review corpora from a large e-commerce portal in India in order to aid the study of replicability and transfer, with the hope that it will fuel further growth of the field.
Abstract（参考訳）: オンラインマーケットプレースとユーザー生成コンテンツの増加に伴い、アスペクトベースの感情分析はこれまで以上に重要になっている。本研究では,過去6年間に公開されたモデルの代表的なサンプルを,実運用環境での展開に目を向けて,実践者のレンズを通して批判的にレビューする。まず、厳密な経験的評価により再現性が低いことが明らかとなり、サンプル全体で平均4-5%の検定精度が低下した。第2に,経験的評価の信頼性をさらに高めるため,2つの挑戦的なデータスライスの実験を報告し,一貫性のある12～55%の精度低下を観測した。第3に、ドメイン間の転送の可能性を調査し、同じローカライズ内の他のドメインからのデータセットと組み合わせて使用する場合、ドメイン固有のトレーニングデータセットの10～25%程度は、完全にクロスドメインと完全なドメイン内予測パフォーマンスのギャップを埋める。最後に、インドの大規模なeコマースポータルから2つの大規模なアノテートレビューコーパスをオープンソース化し、複製性と転送の研究を支援し、この分野のさらなる成長を促進することを期待している。
全文参考訳へのリンク