論文の概要: Evaluating LLMs Capabilities Towards Understanding Social Dynamics

• arxiv url: http://arxiv.org/abs/2411.13008v1
• Date: Wed, 20 Nov 2024 03:16:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:13:02.068872
• Title: Evaluating LLMs Capabilities Towards Understanding Social Dynamics
• Title（参考訳）: 社会的ダイナミクスの理解に向けてのLLMの能力評価
• Authors: Anique Tahir, Lu Cheng, Manuel Sandoval, Yasin N. Silva, Deborah L. Hall, Huan Liu,
• Abstract要約: LlamaやChatGPTといったジェネレーティブモデルは最近、ゼロショットの質問回答機能によって人気を博している。 この研究は、ジェネレーティブLLMの社会的文脈における言語と力学を理解する能力に関する批判的な分析を提供する。
• 参考スコア（独自算出の注目度）: 16.189101260093064
• License:
• Abstract: Social media discourse involves people from different backgrounds, beliefs, and motives. Thus, often such discourse can devolve into toxic interactions. Generative Models, such as Llama and ChatGPT, have recently exploded in popularity due to their capabilities in zero-shot question-answering. Because these models are increasingly being used to ask questions of social significance, a crucial research question is whether they can understand social media dynamics. This work provides a critical analysis regarding generative LLM's ability to understand language and dynamics in social contexts, particularly considering cyberbullying and anti-cyberbullying (posts aimed at reducing cyberbullying) interactions. Specifically, we compare and contrast the capabilities of different large language models (LLMs) to understand three key aspects of social dynamics: language, directionality, and the occurrence of bullying/anti-bullying messages. We found that while fine-tuned LLMs exhibit promising results in some social media understanding tasks (understanding directionality), they presented mixed results in others (proper paraphrasing and bullying/anti-bullying detection). We also found that fine-tuning and prompt engineering mechanisms can have positive effects in some tasks. We believe that a understanding of LLM's capabilities is crucial to design future models that can be effectively used in social applications.
• Abstract（参考訳）: ソーシャルメディアの談話には、異なる背景、信念、動機を持つ人々が含まれる。 したがって、このような言論はしばしば有毒な相互作用へと発展する。 LlamaやChatGPTといったジェネレーティブモデルは最近、ゼロショットの質問回答機能によって人気を博している。 これらのモデルは、社会的重要性に関する質問にますます使われているため、重要な研究課題は、ソーシャルメディアのダイナミクスを理解することができるかどうかである。 この研究は、世代的LLMの社会的文脈における言語と力学を理解する能力について批判的な分析を提供し、特にサイバリングと反サイバブリング(サイバー膨大化を減らすことを目的としたポスト)の相互作用を考慮に入れている。 具体的には、異なる大規模言語モデル(LLM)の能力を比較して、社会的ダイナミクスの3つの重要な側面、すなわち、言語、方向性、およびいじめ/反いじめメッセージの発生について理解する。 その結果, 微調整LDMでは, ソーシャルメディア理解タスクにおいて有望な結果が得られている(方向性に反する)一方で, 両者は, 適切な言い回しやいじめ・反膨らみ検出など, 様々な結果を示した。 また、微調整と迅速なエンジニアリング機構が、いくつかのタスクに肯定的な効果をもたらすことも見出した。 LLMの能力の理解は、ソーシャルアプリケーションで効果的に利用できる将来のモデルの設計に不可欠である、と我々は信じている。

関連論文リスト

• Large Language Models Reflect the Ideology of their Creators [73.25935570218375]
  大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。 異なるLLMや言語にまたがるイデオロギー的姿勢の顕著な多様性を明らかにする。
  論文  参考訳（メタデータ） (2024-10-24T04:02:30Z)
• I Want to Break Free! Persuasion and Anti-Social Behavior of LLMs in Multi-Agent Settings with Social Hierarchy [13.68625980741047]
  本研究では,Large Language Model (LLM) に基づくエージェントの相互作用パターンについて,厳密な社会的階層を特徴とする文脈で検討する。 本研究では,警備員と囚人エージェントが関与するシミュレートシナリオにおける説得と反社会的行動の2つの現象について検討した。
  論文  参考訳（メタデータ） (2024-10-09T17:45:47Z)
• AgentPeerTalk: Empowering Students through Agentic-AI-Driven Discernment of Bullying and Joking in Peer Interactions in Schools [0.0]
  本研究では,大規模言語モデル(LLM)が,学校間交流におけるいじめと冗談を識別することで,学生に力を与える可能性について検討した。 ChatGPT-4はエージェントアプローチの実装後の文脈特異的な精度に優れていた。
  論文  参考訳（メタデータ） (2024-07-27T05:50:02Z)
• SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
  本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。 この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
  論文  参考訳（メタデータ） (2024-03-13T17:17:48Z)
• SoMeLVLM: A Large Vision Language Model for Social Media Processing [78.47310657638567]
  ソーシャルメディア処理のための大規模ビジョン言語モデル(SoMeLVLM)を提案する。 SoMeLVLMは、知識と理解、応用、分析、評価、作成を含む5つの重要な機能を備えた認知フレームワークである。 実験により,複数のソーシャルメディアタスクにおいて,SoMeLVLMが最先端のパフォーマンスを達成できることが実証された。
  論文  参考訳（メタデータ） (2024-02-20T14:02:45Z)
• Explain Thyself Bully: Sentiment Aided Cyberbullying Detection with Explanation [52.3781496277104]
  さまざまなソーシャルメディアネットワークやオンラインコミュニケーションアプリの人気により、サイバーいじめが大きな問題になっている。 一般データ保護規則の「説明の権利」のような近年の法律は、解釈可能なモデルの開発に拍車をかけた。 我々は,コード混在言語からの自動サイバーバブル検出のための,mExCBと呼ばれる最初の解釈可能なマルチタスクモデルを開発した。
  論文  参考訳（メタデータ） (2024-01-17T07:36:22Z)
• Think Before You Speak: Cultivating Communication Skills of Large Language Models via Inner Monologue [73.69510478736483]
  大規模言語モデル(LLM)は、流動的で一貫性があり多様な応答を生成する。 しかし、それらは重要な能力、コミュニケーションスキルを欠いている。 本稿は,内的モノローグによるLLMのコミュニケーション能力向上を目的としている。 実験の結果,提案したCSIM戦略はバックボーンモデルを改善し,ベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-11-13T16:19:42Z)
• Qualitative Analysis of a Graph Transformer Approach to Addressing Hate Speech: Adapting to Dynamically Changing Content [8.393770595114763]
  我々は、ソーシャルネットワークにおけるヘイトスピーチ検出のために、このソリューションの詳細な質的分析を提供する。 重要な洞察は、コンテキストの概念に関する推論に焦点が当てられていることは、オンライン投稿のマルチモーダル分析をサポートするのに十分な位置にあるということだ。 この問題が特に動的変化のテーマとどのように関係しているかを考察して結論付けます。
  論文  参考訳（メタデータ） (2023-01-25T23:32:32Z)
• Can You be More Social? Injecting Politeness and Positivity into Task-Oriented Conversational Agents [60.27066549589362]
  人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。 このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。 人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
  論文  参考訳（メタデータ） (2020-12-29T08:22:48Z)
• Aggressive, Repetitive, Intentional, Visible, and Imbalanced: Refining Representations for Cyberbullying Classification [4.945634077636197]
  本研究では,その社会的・言語的側面を表現するために,5つの明確な要因を用いて,サイバーいじめのニュアンスな問題を考察する。 これらの結果は、サイバーいじめを社会現象として表現し、モデル化することの重要性を示している。
  論文  参考訳（メタデータ） (2020-04-04T00:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。