論文の概要: Beyond Stars: Bridging the Gap Between Ratings and Review Sentiment with LLM
- arxiv url: http://arxiv.org/abs/2509.20953v1
- Date: Thu, 25 Sep 2025 09:39:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-26 20:58:12.825897
- Title: Beyond Stars: Bridging the Gap Between Ratings and Review Sentiment with LLM
- Title(参考訳): Beyond Stars: LLMによるレーティングとレビューのセンシティメントのギャップを埋める
- Authors: Najla Zuhir, Amna Mohammad Salim, Parvathy Premkumar, Moshiur Farazi,
- Abstract要約: 本稿では,従来の星形成システムに固有の制約に対処するために,モバイルアプリレビュー分析に先進的なアプローチを提案する。
本稿では,構造化プロンプト技術により強化された大規模言語モデル(LLM)を活用するモジュラーフレームワークを提案する。
本手法は,数値評価とテキスト感情の相違を定量化し,詳細な特徴レベルの洞察を抽出し,レビューのインタラクティブな探索を支援する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present an advanced approach to mobile app review analysis aimed at addressing limitations inherent in traditional star-rating systems. Star ratings, although intuitive and popular among users, often fail to capture the nuanced feedback present in detailed review texts. Traditional NLP techniques -- such as lexicon-based methods and classical machine learning classifiers -- struggle to interpret contextual nuances, domain-specific terminology, and subtle linguistic features like sarcasm. To overcome these limitations, we propose a modular framework leveraging large language models (LLMs) enhanced by structured prompting techniques. Our method quantifies discrepancies between numerical ratings and textual sentiment, extracts detailed, feature-level insights, and supports interactive exploration of reviews through retrieval-augmented conversational question answering (RAG-QA). Comprehensive experiments conducted on three diverse datasets (AWARE, Google Play, and Spotify) demonstrate that our LLM-driven approach significantly surpasses baseline methods, yielding improved accuracy, robustness, and actionable insights in challenging and context-rich review scenarios.
- Abstract(参考訳): 本稿では,従来の星形成システムに固有の制約に対処することを目的とした,モバイルアプリレビュー分析への高度なアプローチを提案する。
星の評価は直感的で人気があるが、詳細なレビューテキストにある微妙なフィードバックを捉えていないことが多い。
辞書ベースの手法や古典的な機械学習分類器といった従来のNLP技術は、文脈的ニュアンス、ドメイン固有の用語、サルカズムのような微妙な言語的特徴の解釈に苦労している。
これらの制約を克服するために,構造化プロンプト技術により強化された大規模言語モデル(LLM)を活用するモジュール型フレームワークを提案する。
提案手法は,数値評価とテキスト感情の相違を定量化し,詳細な特徴レベルの洞察を抽出し,検索強化対話型質問応答(RAG-QA)によるレビューの対話的探索を支援する。
3つの多様なデータセット(AWARE、Google Play、Spotify)で実施された包括的な実験では、LLM駆動のアプローチがベースラインメソッドを大幅に超え、精度の向上、堅牢性、そして挑戦的でコンテキストに富んだレビューシナリオにおける実行可能な洞察を得ることができた。
関連論文リスト
- Learning Contextual Retrieval for Robust Conversational Search [34.74877456870482]
ContextualRetrieverは、会話コンテキストを直接検索プロセスに組み込む新しいLLMベースのレトリバーである。
提案手法では,(1)対話履歴中の現在のクエリを強調表示するコンテキスト認識型埋め込み機構,(2)高品質なリライトクエリに基づく意図誘導型監視,(3)ベースLLMの生成能力を維持するためのトレーニング戦略を紹介する。
論文 参考訳(メタデータ) (2025-09-24T02:17:37Z) - Readability Formulas, Systems and LLMs are Poor Predictors of Reading Ease [4.868319717279586]
我々は、視線追跡を用いたオンライン読解手段を用いて、読みやすさとリアルタイム読みやすさの基本的な側面に焦点を当てた。
この評価を従来の可読性の公式、現代の機械学習システム、教育で使用される商用システムに適用すると、これらはすべて英語で読みやすいという予測が下手であることを示唆している。
論文 参考訳(メタデータ) (2025-02-16T14:51:44Z) - Can LLMs assist with Ambiguity? A Quantitative Evaluation of various Large Language Models on Word Sense Disambiguation [4.1164810106780925]
本研究では,Large Language Models (LLMs) を用いた単語センス曖昧化(WSD)の改善について検討する。
提案手法では,プロンプトをPOSタグ,曖昧な単語のシノニム,アスペクトベース・センス・フィルタリング,少数ショットプロンプトで支援する。
数ショットのChain of Thought (COT)プロンプトベースのアプローチを利用することで、本研究はパフォーマンスを大幅に改善したことを示す。
論文 参考訳(メタデータ) (2024-11-27T13:35:32Z) - Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
きめ細かい評価のための新しいアプローチを導入する。
テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。
きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
論文 参考訳(メタデータ) (2024-10-16T09:42:29Z) - A Controlled Study on Long Context Extension and Generalization in LLMs [85.4758128256142]
広義のテキスト理解とテキスト内学習は、完全な文書コンテキストを利用する言語モデルを必要とする。
長期コンテキストモデルを直接訓練する際の実装上の課題のため、長期コンテキストを扱うためにモデルを拡張する多くの方法が提案されている。
我々は,一貫したベースモデルと拡張データを利用して,標準化された評価による拡張メソッドの制御プロトコルを実装した。
論文 参考訳(メタデータ) (2024-09-18T17:53:17Z) - Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding [11.5386284281652]
動的インテキスト編集による情報検索を再現する新しい手法を提案する。
長大な文脈を拡張可能な外部知識として扱うことにより,本手法は対話的に関連情報を収集・統合する。
実験結果から,提案手法はコンテキスト限定LLMを効果的に活用し,マルチホップ推論に有効であることを示す。
論文 参考訳(メタデータ) (2024-06-18T06:54:28Z) - SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation [23.203761925540736]
対話評価のためのフレームワークSLIDE(Small and Large Integrated for Dialogue Evaluation)を提案する。
本手法は, 分類タスクと評価タスクの両方において最先端のパフォーマンスを達成し, また, SLIDEは人的評価器との相関性も良好である。
論文 参考訳(メタデータ) (2024-05-24T20:32:49Z) - Leveraging Large Language Models for NLG Evaluation: Advances and Challenges [57.88520765782177]
大規模言語モデル(LLM)は、コヒーレンス、クリエイティビティ、コンテキスト関連など、生成されたコンテンツ品質を評価するための新たな道を開いた。
既存のLCMに基づく評価指標を整理し、これらの手法を理解し比較するための構造化された枠組みを提供する。
本稿では, 偏見, 堅牢性, ドメイン固有性, 統一評価などの未解決課題を議論することによって, 研究者に洞察を提供し, より公平で高度なNLG評価手法を提唱することを目的とする。
論文 参考訳(メタデータ) (2024-01-13T15:59:09Z) - Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。
CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。
提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
論文 参考訳(メタデータ) (2023-09-12T14:36:23Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳(メタデータ) (2023-05-22T15:12:43Z) - Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue
Questions with LLMs [59.74002011562726]
我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。
中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。
実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-05-19T16:27:43Z) - Interactive Fiction Game Playing as Multi-Paragraph Reading
Comprehension with Reinforcement Learning [94.50608198582636]
対話型フィクション(IF)ゲームと実際の自然言語テキストは、言語理解技術に対する新たな自然な評価を提供する。
IFゲーム解決の新たな視点を捉え,MPRC(Multi-Passage Reading)タスクとして再フォーマットする。
論文 参考訳(メタデータ) (2020-10-05T23:09:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。