論文の概要: Reproducibility, Replicability and Beyond: Assessing Production Readiness of Aspect Based Sentiment Analysis in the Wild

• arxiv url: http://arxiv.org/abs/2101.09449v1
• Date: Sat, 23 Jan 2021 07:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 13:50:06.055837
• Title: Reproducibility, Replicability and Beyond: Assessing Production Readiness of Aspect Based Sentiment Analysis in the Wild
• Title（参考訳）: 再現性、再現性およびそれ以上性:野生動物におけるアスペクトベース感情分析の生産準備性の評価
• Authors: Rajdeep Mukherjee, Shreyas Shetty, Subrata Chattopadhyay, Subhadeep Maji, Samik Datta and Pawan Goyal
• Abstract要約: 実践者のレンズを通して過去6年間に公開されたモデルの代表的なサンプルを批判的にレビューする。 2つの挑戦的なデータスライスの実験を報告し、12～55%の精度低下を観測した。 インドにある大規模なeコマースポータルから2つの大規模なアノテートレビューコーパスをオープンソース化し、複製性と転送の研究を支援します。
• 参考スコア（独自算出の注目度）: 10.629712078346694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the exponential growth of online marketplaces and user-generated content therein, aspect-based sentiment analysis has become more important than ever. In this work, we critically review a representative sample of the models published during the past six years through the lens of a practitioner, with an eye towards deployment in production. First, our rigorous empirical evaluation reveals poor reproducibility: an average 4-5% drop in test accuracy across the sample. Second, to further bolster our confidence in empirical evaluation, we report experiments on two challenging data slices, and observe a consistent 12-55% drop in accuracy. Third, we study the possibility of transfer across domains and observe that as little as 10-25% of the domain-specific training dataset, when used in conjunction with datasets from other domains within the same locale, largely closes the gap between complete cross-domain and complete in-domain predictive performance. Lastly, we open-source two large-scale annotated review corpora from a large e-commerce portal in India in order to aid the study of replicability and transfer, with the hope that it will fuel further growth of the field.
• Abstract（参考訳）: オンラインマーケットプレースとユーザー生成コンテンツの増加に伴い、アスペクトベースの感情分析はこれまで以上に重要になっている。 本研究では,過去6年間に公開されたモデルの代表的なサンプルを,実運用環境での展開に目を向けて,実践者のレンズを通して批判的にレビューする。 まず、厳密な経験的評価により再現性が低いことが明らかとなり、サンプル全体で平均4-5%の検定精度が低下した。 第2に,経験的評価の信頼性をさらに高めるため,2つの挑戦的なデータスライスの実験を報告し,一貫性のある12～55%の精度低下を観測した。 第3に、ドメイン間の転送の可能性を調査し、同じローカライズ内の他のドメインからのデータセットと組み合わせて使用する場合、ドメイン固有のトレーニングデータセットの10～25%程度は、完全にクロスドメインと完全なドメイン内予測パフォーマンスのギャップを埋める。 最後に、インドの大規模なeコマースポータルから2つの大規模なアノテートレビューコーパスをオープンソース化し、複製性と転送の研究を支援し、この分野のさらなる成長を促進することを期待している。
• 全文 参考訳へのリンク

関連論文リスト

• What do You Mean by Relation Extraction? A Survey on Datasets and Study on Scientific Relation Classification [21.513743126525622]
  本研究では,2つのデータセットの科学的関係分類に関する実証的研究を行った。 大量のデータの重複にもかかわらず,本分析はアノテーションにかなりの相違点を明らかにした。 さらにサブドメイン内での変化は存在するが、関係分類は限定的な程度にしか影響しない。
  論文  参考訳（メタデータ） (2022-04-28T14:07:25Z)
• Improving Baselines in the Wild [9.216201990315364]
  私たちは最近リリースされたWILDSベンチマークでの経験を共有しています。 いくつかの実験では、WILDSに関する今後の研究に一般的に関心があると思われるいくつかの批判的な観察結果が得られている。
  論文  参考訳（メタデータ） (2021-12-31T16:59:03Z)
• VisDA-2021 Competition Universal Domain Adaptation to Improve Performance on Out-of-Distribution Data [64.91713686654805]
  Visual Domain Adaptation (VisDA) 2021コンペティションは、新しいテストディストリビューションに適応するモデルの能力をテストする。 我々は,新しい視点,背景,モダリティ,品質劣化への適応性を評価する。 厳密なプロトコルを使用してパフォーマンスを計測し、最先端のドメイン適応手法と比較する。
  論文  参考訳（メタデータ） (2021-07-23T03:21:51Z)
• Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
  SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。 そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。 提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
  論文  参考訳（メタデータ） (2021-06-07T08:38:41Z)
• Gradient Matching for Domain Generalization [93.04545793814486]
  機械学習システムの重要な要件は、見えないドメインに一般化する能力です。 ドメインの一般化を目標とするドメイン間勾配マッチングの目的を提案する。 我々は、その最適化を近似する単純な一階アルゴリズムfishを導出する。
  論文  参考訳（メタデータ） (2021-04-20T12:55:37Z)
• The Multimodal Sentiment Analysis in Car Reviews (MuSe-CaR) Dataset: Collection, Insights and Improvements [14.707930573950787]
  この種のマルチモーダルデータセットの1つである MuSe-CaR について述べる。 このデータは、最近第1回マルチモーダルセンチメント分析チャレンジのテストベッドとして公開された。
  論文  参考訳（メタデータ） (2021-01-15T10:40:37Z)
• Dual-Teacher++: Exploiting Intra-domain and Inter-domain Knowledge with Reliable Transfer for Cardiac Segmentation [69.09432302497116]
  最先端の半教師付きドメイン適応フレームワークである Dual-Teacher++ を提案する。 ソースドメイン(MRなど)からのクロスモダリティ優先度を探索するドメイン間教師モデルと、ラベルのないターゲットドメインの知識を調査するドメイン内教師モデルを含む、新しいデュアル教師モデルを設計する。 このようにして、学生モデルは信頼できる二重ドメイン知識を得て、ターゲットドメインデータのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-01-07T05:17:38Z)
• Few-shot Image Generation with Elastic Weight Consolidation [53.556446614013105]
  少ないショット画像生成は、利用可能なトレーニング例がほとんどなく、与えられたドメインのより多くのデータを生成することを目指している。 対象ドメインのいくつかの例に、追加のパラメータを導入することなく、事前訓練されたモデルを適用する。 我々は,異なる対象領域の高品質な結果を生成することにより,アルゴリズムの有効性を実証する。
  論文  参考訳（メタデータ） (2020-12-04T18:57:13Z)
• Domain Adaptation with Incomplete Target Domains [65.38480076899634]
  本稿では、この新たなドメイン適応問題に対処するために、不完全データインプットに基づく Adversarial Network (IDIAN) モデルを提案する。 提案モデルでは,対象領域における部分的な観測に基づいて,欠落した特徴値を満たすデータ計算モジュールを設計する。 我々は、クロスドメインベンチマークタスクと、不完全なターゲットドメインを用いた実世界適応タスクの両方で実験を行う。
  論文  参考訳（メタデータ） (2020-12-03T00:07:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。