論文の概要: Evaluating the Effectiveness of Pre-trained Language Models in Predicting the Helpfulness of Online Product Reviews

• arxiv url: http://arxiv.org/abs/2302.10199v1
• Date: Sun, 19 Feb 2023 18:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 17:27:48.983741
• Title: Evaluating the Effectiveness of Pre-trained Language Models in Predicting the Helpfulness of Online Product Reviews
• Title（参考訳）: オンライン製品レビューの有用性予測における事前学習言語モデルの有効性評価
• Authors: Ali Boluki, Javad Pourmostafa Roshan Sharami, Dimitar Shterionov
• Abstract要約: オンライン製品レビューの有用性を予測するため,RoBERTaとXLM-R言語モデルの比較を行った。 実験にはAmazonレビューデータセットを使用します。
• 参考スコア（独自算出の注目度）: 0.21485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Businesses and customers can gain valuable information from product reviews. The sheer number of reviews often necessitates ranking them based on their potential helpfulness. However, only a few reviews ever receive any helpfulness votes on online marketplaces. Sorting all reviews based on the few existing votes can cause helpful reviews to go unnoticed because of the limited attention span of readers. The problem of review helpfulness prediction is even more important for higher review volumes, and newly written reviews or launched products. In this work we compare the use of RoBERTa and XLM-R language models to predict the helpfulness of online product reviews. The contributions of our work in relation to literature include extensively investigating the efficacy of state-of-the-art language models -- both monolingual and multilingual -- against a robust baseline, taking ranking metrics into account when assessing these approaches, and assessing multilingual models for the first time. We employ the Amazon review dataset for our experiments. According to our study on several product categories, multilingual and monolingual pre-trained language models outperform the baseline that utilizes random forest with handcrafted features as much as 23% in RMSE. Pre-trained language models reduce the need for complex text feature engineering. However, our results suggest that pre-trained multilingual models may not be used for fine-tuning only one language. We assess the performance of language models with and without additional features. Our results show that including additional features like product rating by the reviewer can further help the predictive methods.
• Abstract（参考訳）: 企業や顧客は製品レビューから貴重な情報を得ることができる。 レビューの数は、その潜在的な有用性に基づいてランク付けする必要があることが多い。 しかし、オンラインマーケットプレースで役に立つ投票を受けたレビューはごくわずかだ。 既存の投票数に基づいてすべてのレビューをソートすると、読者の注目が限られているため、有益なレビューが無関心になる可能性がある。 レビュー有用性予測の問題は、より高いレビューボリューム、新しく書かれたレビューやローンチ製品にとってさらに重要である。 本稿では,RoBERTaとXLM-R言語モデルを用いてオンライン製品レビューの有用性を予測する。 文献に関する我々の研究の貢献には、最先端言語モデル(単言語と多言語の両方)の有効性、堅牢なベースライン、これらのアプローチを評価する際にランク付け指標を考慮に入れること、そして初めて多言語モデルを評価することが含まれる。 実験にはAmazonレビューデータセットを使用します。 いくつかの製品カテゴリーについて検討した結果,多言語および単言語事前学習言語モデルはRMSEにおいて,手作り特徴を持つランダム森林を最大23%まで利用したベースラインよりも優れていた。 事前訓練された言語モデルは、複雑なテキストフィーチャエンジニアリングの必要性を減らす。 しかし,本研究の結果から,事前学習した多言語モデルは1言語のみの微調整には使用できない可能性が示唆された。 我々は、追加機能の有無に関わらず、言語モデルのパフォーマンスを評価する。 その結果,レビュアーによる製品評価などの追加機能を含めれば,予測手法をさらに改善できることがわかった。

関連論文リスト

• Cross-Lingual Auto Evaluation for Assessing Multilingual LLMs [36.30321941154582]
  Herculeは、英語で利用可能な参照回答に基づいて、応答にスコアを割り当てることを学ぶ言語間評価モデルである。 本研究は,LLMを用いた言語横断評価の総合的研究であり,多言語評価のためのスケーラブルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-17T09:45:32Z)
• Take the Hint: Improving Arabic Diacritization with Partially-Diacritized Text [4.863310073296471]
  本稿では,任意のダイアクリティカルティクスを効果的にサポートするマルチソースモデルである2SDiacを提案する。 また、ランダムマスキングのレベルが異なる入力において、与えられたダイアクリティカルを活用できるトレーニングスキームであるガイドドラーニングを導入する。
  論文  参考訳（メタデータ） (2023-06-06T10:18:17Z)
• ReadMe++: Benchmarking Multilingual Language Models for Multi-Domain Readability Assessment [12.704628912075218]
  本稿では、アラビア語、英語、フランス語、ヒンディー語、ロシア語で9757文の人間のアノテーションを付加した多言語マルチドメインデータセットであるReadMe++を紹介する。 ReadMe++を使って、教師付き、教師なし、および少数ショットプロンプト設定において、多言語および単言語言語モデルをベンチマークする。 本実験は,ReadMe++で学習したモデルによる優れたドメイン一般化と言語間変換能力の強化によるエキサイティングな結果を示す。
  論文  参考訳（メタデータ） (2023-05-23T18:37:30Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
  抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。 有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。 事実整合性評価モデルを利用して、多言語要約を改善する。
  論文  参考訳（メタデータ） (2022-12-20T19:52:41Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Transfer Learning for Mining Feature Requests and Bug Reports from Tweets and App Store Reviews [4.446419663487345]
  既存のアプローチでは、リコールと許容精度の高い機能要求やバグレポートの検出に失敗している。 我々は単言語と多言語の両方のBERTモデルを訓練し、その性能を最先端の手法と比較する。
  論文  参考訳（メタデータ） (2021-08-02T06:51:13Z)
• Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
  現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。 前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。 本稿では,ラベルのないデータを利用して性能を向上する。
  論文  参考訳（メタデータ） (2021-05-08T08:04:30Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。