論文の概要: Dynamic Sentiment Analysis with Local Large Language Models using Majority Voting: A Study on Factors Affecting Restaurant Evaluation

• arxiv url: http://arxiv.org/abs/2407.13069v1
• Date: Thu, 18 Jul 2024 00:28:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 19:13:43.368174
• Title: Dynamic Sentiment Analysis with Local Large Language Models using Majority Voting: A Study on Factors Affecting Restaurant Evaluation
• Title（参考訳）: 主要投票を用いた局所的大言語モデルを用いた動的感性分析:レストラン評価に影響する要因の検討
• Authors: Junichiro Niimi,
• Abstract要約: 本研究では,局所言語モデルを用いた感情分析モデルに多数決機構を導入する。 レストラン評価に関するオンラインレビューの3つの分析により、複数の試みによる過半数投票は、一つの試みによる大規模なモデルよりも、より堅牢な結果をもたらすことを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User-generated contents (UGCs) on online platforms allow marketing researchers to understand consumer preferences for products and services. With the advance of large language models (LLMs), some studies utilized the models for annotation and sentiment analysis. However, the relationship between the accuracy and the hyper-parameters of LLMs is yet to be thoroughly examined. In addition, the issues of variability and reproducibility of results from each trial of LLMs have rarely been considered in existing literature. Since actual human annotation uses majority voting to resolve disagreements among annotators, this study introduces a majority voting mechanism to a sentiment analysis model using local LLMs. By a series of three analyses of online reviews on restaurant evaluations, we demonstrate that majority voting with multiple attempts using a medium-sized model produces more robust results than using a large model with a single attempt. Furthermore, we conducted further analysis to investigate the effect of each aspect on the overall evaluation.
• Abstract（参考訳）: オンラインプラットフォーム上のユーザ生成コンテンツ(UGC)は、マーケティング研究者が製品やサービスの消費者の嗜好を理解することを可能にする。 大規模言語モデル(LLM)の進歩に伴い、アノテーションや感情分析のモデルを利用した研究もある。 しかし, LLMの精度と過度パラメータの関係については, まだ詳しくは明らかになっていない。 また, LLMの各試験の結果の変動性や再現性に関する問題は, 既存の文献ではめったに考慮されていない。 実際の人間のアノテーションは、アノテータ間の不一致を解決するために多数決を利用するので、本研究では、ローカルLLMを用いた感情分析モデルに多数決機構を導入する。 レストラン評価に関するオンラインレビューを3回に分けて分析した結果, 中規模モデルを用いた複数回の投票では, 一つの試みによる大規模モデルよりも, より堅牢な結果が得られた。 さらに,各側面が全体評価に与える影響について,さらに分析を行った。

関連論文リスト

• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Utilizing Large Language Models for Event Deconstruction to Enhance Multimodal Aspect-Based Sentiment Analysis [2.1329326061804816]
  本稿では,イベント分解のためのLarge Language Models (LLMs)を導入し,マルチモーダル・アスペクト・ベース・センチメント分析(MABSA-RL)のための強化学習フレームワークを提案する。 実験の結果,MABSA-RLは2つのベンチマークデータセットにおいて既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-18T03:40:45Z)
• Adversarial Multi-Agent Evaluation of Large Language Models through Iterative Debates [0.0]
  本稿では,対話エージェントのアンサンブル内で,大規模言語モデル(LLM)を提唱者として解釈するフレームワークを提案する。 このアプローチは、従来の人間ベースの評価や自動メトリクスと比較して、よりダイナミックで包括的な評価プロセスを提供します。
  論文  参考訳（メタデータ） (2024-10-07T00:22:07Z)
• Examining Independence in Ensemble Sentiment Analysis: A Study on the Limits of Large Language Models Using the Condorcet Jury Theorem [0.0]
  本稿では,Condorcet Jury定理の感情分析分野への応用について検討する。 我々の実証的研究は、異なるモデルにまたがる多数決機構を実装することで、この理論の枠組みをテストする。 期待とは対照的に、結果はより大きなモデルを組み込んだ場合、パフォーマンスの限界的な改善しか示さなかった。
  論文  参考訳（メタデータ） (2024-08-26T14:04:00Z)
• The Effectiveness of LLMs as Annotators: A Comparative Overview and Empirical Analysis of Direct Representation [5.249002650134171]
  大規模言語モデル(LLM)は、さまざまな自然言語タスクやさまざまなアプリケーションドメインにまたがる強力なサポートツールとして登場した。 本稿では,ラベル付けデータにおけるLCMの可能性について,12種類の研究結果の比較検討を行った。 モデルは有望なコストと時間の節約効果を示すが、代表性、偏見、変化を促す感度、英語の好みなど、かなりの制限がある。
  論文  参考訳（メタデータ） (2024-05-02T14:00:22Z)
• PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
  PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。 LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。 我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
  論文  参考訳（メタデータ） (2024-04-06T20:02:20Z)
• LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models [31.426274932333264]
  自動側評価から結果をインタラクティブに分析する新しいビジュアル分析ツールであるComparatorを提案する。 このツールは、モデルがベースラインモデルよりも優れているか悪いかを、ユーザがいつ、なぜ理解するかを対話的にサポートする。
  論文  参考訳（メタデータ） (2024-02-16T09:14:49Z)
• On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
  本稿では,様々な大きさの報酬モデルに対する実験スケーリング法則の定量的解析を行った。 分析の結果,ヒトの嗜好の多様化による影響は,モデルサイズとデータサイズの両方に依存することが明らかとなった。 十分なキャパシティを持つ大きなモデルでは、さまざまな好みによるネガティブな影響が軽減される一方、より小さなモデルはそれらに対応するのに苦労する。
  論文  参考訳（メタデータ） (2023-12-12T16:17:15Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• Sentiment Analysis Based on Deep Learning: A Comparative Study [69.09570726777817]
  世論の研究は我々に貴重な情報を提供することができる。 感情分析の効率性と正確性は、自然言語処理で直面する課題によって妨げられている。 本稿では、感情分析の問題を解決するためにディープラーニングを用いた最新の研究をレビューする。
  論文  参考訳（メタデータ） (2020-06-05T16:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。