論文の概要: Scaling Technology Acceptance Analysis with Large Language Model (LLM) Annotation Systems

• arxiv url: http://arxiv.org/abs/2407.00702v1
• Date: Sun, 30 Jun 2024 14:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 01:57:25.941960
• Title: Scaling Technology Acceptance Analysis with Large Language Model (LLM) Annotation Systems
• Title（参考訳）: 大規模言語モデル(LLM)アノテーションシステムを用いたスケーリング技術アクセプタンス解析
• Authors: Pawel Robert Smolinski, Joseph Januszewicz, Jacek Winiarski,
• Abstract要約: テクノロジーアクセプションモデルは、ユーザーが新しいテクノロジー製品をどのように採用するかを効果的に予測する。 伝統的な調査は、しばしば高価で扱いにくいもので、この評価によく使われている。 調査の代替として,オンラインユーザ生成コンテンツに注釈をつけるための大規模言語モデルについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Technology acceptance models effectively predict how users will adopt new technology products. Traditional surveys, often expensive and cumbersome, are commonly used for this assessment. As an alternative to surveys, we explore the use of large language models for annotating online user-generated content, like digital reviews and comments. Our research involved designing an LLM annotation system that transform reviews into structured data based on the Unified Theory of Acceptance and Use of Technology model. We conducted two studies to validate the consistency and accuracy of the annotations. Results showed moderate-to-strong consistency of LLM annotation systems, improving further by lowering the model temperature. LLM annotations achieved close agreement with human expert annotations and outperformed the agreement between experts for UTAUT variables. These results suggest that LLMs can be an effective tool for analyzing user sentiment, offering a practical alternative to traditional survey methods and enabling deeper insights into technology design and adoption.
• Abstract（参考訳）: テクノロジーアクセプションモデルは、ユーザーが新しいテクノロジー製品をどのように採用するかを効果的に予測する。 伝統的な調査は、しばしば高価で扱いにくいもので、この評価によく使われている。 調査の代替として、デジタルレビューやコメントなど、オンラインユーザ生成コンテンツに注釈をつけるために、大きな言語モデルを使用することを検討します。 我々の研究は,LLMアノテーションを設計し,レビューを統一受容・利用理論に基づく構造化データに変換することを目的としている。 アノテーションの一貫性と精度を検証するために2つの研究を行った。 その結果, LLMアノテーションシステムの中等度から強靭な整合性を示し, モデル温度を下げることによりさらに改善した。 LLMアノテーションは人間の専門家アノテーションとの密接な合意を達成し、UTAUT変数の専門家間の合意を上回った。 これらの結果から,LCMはユーザの感情分析に有効なツールであり,従来の調査手法に代わる実践的な代替手段であり,技術設計や採用に関する深い洞察を可能にすることが示唆された。

関連論文リスト

• The Application of Large Language Models in Recommendation Systems [0.0]
  大規模言語モデルは、非構造化データソースへのレコメンデーションフレームワークの利用を可能にする強力なツールである。 本稿では,レコメンデーションシステム,特に電子商取引,ソーシャルメディアプラットフォーム,ストリーミングサービス,教育技術におけるLLMの適用について論じる。
  論文  参考訳（メタデータ） (2025-01-04T04:02:23Z)
• LLM-SEM: A Sentiment-Based Student Engagement Metric Using LLMS for E-Learning Platforms [0.0]
  LLM-SEM (Language Model-Based Students Engagement Metric) は,ビデオメタデータと学生コメントの感情分析を利用してエンゲージメントを測定する手法である。 我々は、テキストの曖昧さを軽減し、ビューやいいね!といった重要な特徴を正規化するために、高品質な感情予測を生成する。 包括的メタデータと感情極性スコアを組み合わせることで、コースと授業レベルのエンゲージメントを測定する。
  論文  参考訳（メタデータ） (2024-12-18T12:01:53Z)
• LEARN: Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application [54.984348122105516]
  Llm-driven knowlEdge Adaptive RecommeNdation (LEARN)フレームワークは、オープンワールドの知識と協調的な知識をシナジする。 オープンワールドの知識と協調的な知識を相乗化するLlm-driven knowlEdge Adaptive RecommeNdation (LEARN) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T04:00:30Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• T-Eval: Evaluating the Tool Utilization Capability of Large Language Models Step by Step [69.64348626180623]
  大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を達成した。 LLMのツール活用能力の評価と分析方法はまだ未検討である。 ツール利用能力を段階的に評価するためにT-Evalを導入する。
  論文  参考訳（メタデータ） (2023-12-21T17:02:06Z)
• A Survey on Large Language Models for Personalized and Explainable Recommendations [0.3108011671896571]
  この調査は、Recommender Systemsが大規模言語モデルからどのような恩恵を受けられるかを分析することを目的としている。 本稿では, 冷間開始問題, 不公平性, バイアス問題であるPEGタスクの課題について述べる。
  論文  参考訳（メタデータ） (2023-11-21T04:14:09Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
  大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。 我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
  論文  参考訳（メタデータ） (2023-07-05T06:03:40Z)
• Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
  本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。 このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。 提案手法は従来のSOTA(State-of-the-art)よりも優れている。
  論文  参考訳（メタデータ） (2023-06-16T13:04:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。