論文の概要: Can LLMs Assist Annotators in Identifying Morality Frames? -- Case Study on Vaccination Debate on Social Media

• arxiv url: http://arxiv.org/abs/2502.01991v2
• Date: Wed, 05 Feb 2025 03:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 11:04:56.128629
• Title: Can LLMs Assist Annotators in Identifying Morality Frames? -- Case Study on Vaccination Debate on Social Media
• Title（参考訳）: LLMs Assist Annotators in Identification Morality Frames -- ソーシャルメディア上でのワクチンに関する事例研究
• Authors: Tunazzina Islam, Dan Goldwasser,
• Abstract要約: 大規模言語モデル(LLM)は、数ショットの学習を通じて新しいタスクを適応できる。 本研究は,ソーシャルメディア上での予防接種討論において,人間アノテータによる道徳的枠組みの同定を支援するLLMの可能性を探るものである。
• 参考スコア（独自算出の注目度）: 22.976609127865732
• License:
• Abstract: Nowadays, social media is pivotal in shaping public discourse, especially on polarizing issues like vaccination, where diverse moral perspectives influence individual opinions. In NLP, data scarcity and complexity of psycholinguistic tasks, such as identifying morality frames, make relying solely on human annotators costly, time-consuming, and prone to inconsistency due to cognitive load. To address these issues, we leverage large language models (LLMs), which are adept at adapting new tasks through few-shot learning, utilizing a handful of in-context examples coupled with explanations that connect examples to task principles. Our research explores LLMs' potential to assist human annotators in identifying morality frames within vaccination debates on social media. We employ a two-step process: generating concepts and explanations with LLMs, followed by human evaluation using a "think-aloud" tool. Our study shows that integrating LLMs into the annotation process enhances accuracy, reduces task difficulty, lowers cognitive load, suggesting a promising avenue for human-AI collaboration in complex psycholinguistic tasks.
• Abstract（参考訳）: 今日では、ソーシャルメディアは、公衆の言論を形成する上で、特に様々な道徳的視点が個人の意見に影響を及ぼす予防接種のような問題を分極化するために重要な役割を担っている。 NLPでは、道徳的フレームの識別、人間のアノテータのみへの依存、時間の浪費、認知的負荷による不整合の傾向など、精神言語的なタスクのデータの不足と複雑さがある。 これらの問題に対処するために、サンプルとタスク原則を結びつける説明と合わせて、少数のコンテキスト内サンプルを利用して、数ショットの学習を通じて新しいタスクを適応できる大規模言語モデル(LLM)を活用します。 本研究は,ソーシャルメディア上での予防接種討論において,人間アノテータによる道徳的枠組みの同定を支援するLLMの可能性を探るものである。 LLMで概念と説明を生成するという2段階のプロセスを採用し、続いて「思考アロイド」ツールを用いた人間による評価を行った。 本研究は,LSMをアノテーションプロセスに統合することにより,精度の向上,タスクの難易度の向上,認知負荷の低減,複雑な心理言語的タスクにおける人間とAIの協調への道のりが示唆された。

関連論文リスト

• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations [58.65755268815283]
  多くの実際の対話は対話的であり、つまりエージェントの発話が会話の相手に影響を与えるか、情報を引き出すか、意見を変えるかである。 この事実を利用して、既存の最適データを書き直し、拡張し、オフライン強化学習(RL)を介してトレーニングする。 実際の人間によるユーザ調査の結果、我々のアプローチは既存の最先端の対話エージェントを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T21:37:51Z)
• Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• Advancing Annotation of Stance in Social Media Posts: A Comparative Analysis of Large Language Models and Crowd Sourcing [2.936331223824117]
  ソーシャルメディア投稿における自動テキストアノテーションのための大規模言語モデル(LLM)は、大きな関心を集めている。 ソーシャルメディア投稿において,8つのオープンソースおよびプロプライエタリなLCMの性能分析を行った。 「我々の研究の顕著な発見は、姿勢を表わす文章の明快さが、LLMの姿勢判断が人間とどのように一致しているかにおいて重要な役割を担っていることである。」
  論文  参考訳（メタデータ） (2024-06-11T17:26:07Z)
• Automating Thematic Analysis: How LLMs Analyse Controversial Topics [5.025737475817937]
  大規模言語モデル(LLM)は有望な分析ツールである。 本稿では,LLMが議論の的となっているトピックのテーマ分析をどのようにサポートするかを検討する。 本研究は,人間エージェントと機械エージェントのセマンティック分類における重なり合いと相違点に注目した。
  論文  参考訳（メタデータ） (2024-05-11T05:28:25Z)
• How do Large Language Models Navigate Conflicts between Honesty and Helpfulness? [14.706111954807021]
  人間の振る舞いを特徴付けるための心理モデルと実験を用いて、大きな言語モデルを分析する。 人間のフィードバックからの強化学習は、誠実さと有用性の両方を改善している。 GPT-4 Turboは、会話のフレーミングやリスナーの判断コンテキストに対する感度を含む人間的な応答パターンを実証する。
  論文  参考訳（メタデータ） (2024-02-11T19:13:26Z)
• Do LLM Agents Exhibit Social Behavior? [5.094340963261968]
  State-Understanding-Value-Action (SUVA) は、社会的文脈における応答を体系的に分析するフレームワークである。 最終決定とそれにつながる反応生成プロセスの両方を通じて社会的行動を評価する。 発話に基づく推論がLLMの最終動作を確実に予測できることを実証する。
  論文  参考訳（メタデータ） (2023-12-23T08:46:53Z)
• Violation of Expectation via Metacognitive Prompting Reduces Theory of Mind Prediction Error in Large Language Models [0.0]
  大規模言語モデル(LLM)は、心の理論(ToM)タスクにおいて、魅力的な習熟度を示す。 この、観察不能な精神状態を他人に伝える能力は、人間の社会的認知に不可欠であり、人間と人工知能(AI)の主観的関係において同様に重要であることが証明される。
  論文  参考訳（メタデータ） (2023-10-10T20:05:13Z)
• Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View [60.80731090755224]
  本稿では,理論的洞察を用いた実用実験により,現代NLPシステム間の協調機構を解明する。 我々は, LLMエージェントからなる4つの独特な社会をつくり, それぞれのエージェントは, 特定の特性(容易性, 過信性)によって特徴づけられ, 異なる思考パターン(議論, ふりかえり)と協調する。 以上の結果から, LLMエージェントは, 社会心理学理論を反映した, 適合性やコンセンサスリーディングといった人間的な社会的行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T15:05:52Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。