論文の概要: Reproducibility, Replicability and Beyond: Assessing Production Readiness of Aspect Based Sentiment Analysis in the Wild

• arxiv url: http://arxiv.org/abs/2101.09449v1
• Date: Sat, 23 Jan 2021 07:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 13:50:06.055837
• Title: Reproducibility, Replicability and Beyond: Assessing Production Readiness of Aspect Based Sentiment Analysis in the Wild
• Title（参考訳）: 再現性、再現性およびそれ以上性:野生動物におけるアスペクトベース感情分析の生産準備性の評価
• Authors: Rajdeep Mukherjee, Shreyas Shetty, Subrata Chattopadhyay, Subhadeep Maji, Samik Datta and Pawan Goyal
• Abstract要約: 実践者のレンズを通して過去6年間に公開されたモデルの代表的なサンプルを批判的にレビューする。 2つの挑戦的なデータスライスの実験を報告し、12～55%の精度低下を観測した。 インドにある大規模なeコマースポータルから2つの大規模なアノテートレビューコーパスをオープンソース化し、複製性と転送の研究を支援します。
• 参考スコア（独自算出の注目度）: 10.629712078346694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the exponential growth of online marketplaces and user-generated content therein, aspect-based sentiment analysis has become more important than ever. In this work, we critically review a representative sample of the models published during the past six years through the lens of a practitioner, with an eye towards deployment in production. First, our rigorous empirical evaluation reveals poor reproducibility: an average 4-5% drop in test accuracy across the sample. Second, to further bolster our confidence in empirical evaluation, we report experiments on two challenging data slices, and observe a consistent 12-55% drop in accuracy. Third, we study the possibility of transfer across domains and observe that as little as 10-25% of the domain-specific training dataset, when used in conjunction with datasets from other domains within the same locale, largely closes the gap between complete cross-domain and complete in-domain predictive performance. Lastly, we open-source two large-scale annotated review corpora from a large e-commerce portal in India in order to aid the study of replicability and transfer, with the hope that it will fuel further growth of the field.
• Abstract（参考訳）: オンラインマーケットプレースとユーザー生成コンテンツの増加に伴い、アスペクトベースの感情分析はこれまで以上に重要になっている。 本研究では,過去6年間に公開されたモデルの代表的なサンプルを,実運用環境での展開に目を向けて,実践者のレンズを通して批判的にレビューする。 まず、厳密な経験的評価により再現性が低いことが明らかとなり、サンプル全体で平均4-5%の検定精度が低下した。 第2に,経験的評価の信頼性をさらに高めるため,2つの挑戦的なデータスライスの実験を報告し,一貫性のある12～55%の精度低下を観測した。 第3に、ドメイン間の転送の可能性を調査し、同じローカライズ内の他のドメインからのデータセットと組み合わせて使用する場合、ドメイン固有のトレーニングデータセットの10～25%程度は、完全にクロスドメインと完全なドメイン内予測パフォーマンスのギャップを埋める。 最後に、インドの大規模なeコマースポータルから2つの大規模なアノテートレビューコーパスをオープンソース化し、複製性と転送の研究を支援し、この分野のさらなる成長を促進することを期待している。

関連論文リスト

• Model-based Transfer Learning for Automatic Optical Inspection based on domain discrepancy [9.039797705929363]
  本研究は、モデルベースTLをドメイン類似性により適用し、ターゲットドメインとソースドメインの両方における全体的なパフォーマンスとデータ拡張を改善する。 我々の研究は、ベンチマークデータセットを用いたTLと比較してF1スコアとPR曲線が最大20%増加することを示唆している。
  論文  参考訳（メタデータ） (2023-01-14T11:32:39Z)
• Generalizability of Adversarial Robustness Under Distribution Shifts [57.36209780578453]
  本研究では,一方の相手の強靭性と他方のドメインの一般化との相互作用について検討する。 複数のドメインでロバストモデルをトレーニングし、その正確性とロバスト性を評価する。 本研究は, 現実の医療応用をカバーするために拡張され, 敵の増進により, 目に見えない領域における堅牢性と一般化の精度が向上する。
  論文  参考訳（メタデータ） (2022-09-29T18:25:48Z)
• Mere Contrastive Learning for Cross-Domain Sentiment Analysis [23.350121129347556]
  クロスドメイン感情分析は、ソースドメインでトレーニングされたモデルを使用して、ターゲットドメイン内のテキストの感情を予測することを目的としている。 従来の研究はほとんどがクロスエントロピーに基づく手法であり、不安定性や一般化の低さに悩まされていた。 我々は,同じクラスからの文表現を閉じるように,バッチ内の負のサンプルを付加した改良されたコントラスト目的を提案する。
  論文  参考訳（メタデータ） (2022-08-18T07:25:55Z)
• Semantic Self-adaptation: Enhancing Generalization with a Single Sample [53.869943977217574]
  本稿では,各サンプルに対する推論プロセスを調整するセマンティックセグメンテーションの自己適応的手法を提案する。 自己適応推論は強いベースラインを著しく上回り、マルチドメインベンチマークで新しい最先端の精度を設定できる。
  論文  参考訳（メタデータ） (2022-08-10T12:29:01Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)
• Improving Baselines in the Wild [9.216201990315364]
  私たちは最近リリースされたWILDSベンチマークでの経験を共有しています。 いくつかの実験では、WILDSに関する今後の研究に一般的に関心があると思われるいくつかの批判的な観察結果が得られている。
  論文  参考訳（メタデータ） (2021-12-31T16:59:03Z)
• VisDA-2021 Competition Universal Domain Adaptation to Improve Performance on Out-of-Distribution Data [64.91713686654805]
  Visual Domain Adaptation (VisDA) 2021コンペティションは、新しいテストディストリビューションに適応するモデルの能力をテストする。 我々は,新しい視点,背景,モダリティ,品質劣化への適応性を評価する。 厳密なプロトコルを使用してパフォーマンスを計測し、最先端のドメイン適応手法と比較する。
  論文  参考訳（メタデータ） (2021-07-23T03:21:51Z)
• Gradient Matching for Domain Generalization [93.04545793814486]
  機械学習システムの重要な要件は、見えないドメインに一般化する能力です。 ドメインの一般化を目標とするドメイン間勾配マッチングの目的を提案する。 我々は、その最適化を近似する単純な一階アルゴリズムfishを導出する。
  論文  参考訳（メタデータ） (2021-04-20T12:55:37Z)
• Dual-Teacher++: Exploiting Intra-domain and Inter-domain Knowledge with Reliable Transfer for Cardiac Segmentation [69.09432302497116]
  最先端の半教師付きドメイン適応フレームワークである Dual-Teacher++ を提案する。 ソースドメイン(MRなど)からのクロスモダリティ優先度を探索するドメイン間教師モデルと、ラベルのないターゲットドメインの知識を調査するドメイン内教師モデルを含む、新しいデュアル教師モデルを設計する。 このようにして、学生モデルは信頼できる二重ドメイン知識を得て、ターゲットドメインデータのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2021-01-07T05:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。