論文の概要: Unraveling SITT: Social Influence Technique Taxonomy and Detection with LLMs

• arxiv url: http://arxiv.org/abs/2506.00061v1
• Date: Thu, 29 May 2025 11:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.176552
• Title: Unraveling SITT: Social Influence Technique Taxonomy and Detection with LLMs
• Title（参考訳）: SITTを解き明かす: LLMを用いた社会影響技術分類と検出
• Authors: Wiktoria Mieleszczenko-Kowszewicz, Beata Bajcar, Aleksander Szczęsny, Maciej Markiewicz, Jolanta Babiak, Berenika Dyczek, Przemysław Kazienko,
• Abstract要約: 本稿では、テキストコンテンツにおける微妙な社会的影響を検出するために、58の実証的基礎技術からなる包括的枠組みを提案する。 ポーランド語の専門家11名による注釈付き746対話コーパスを用いてLLMの識別能力を評価し,英語に翻訳した。 以上の結果から,いくつかのモデル,特にClaude 3.5は中等度の成功(F1=0.45)を達成できたが,モデル全体の性能は,特に文脈に敏感な手法では限定的であった。 この研究は、LLMが自然対話における社会的影響の戦略を検出し、分類し、潜在的に複製する方法を理解するための新しい資源と評価の例に貢献している。
• 参考スコア（独自算出の注目度）: 36.136619420474766
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this work we present the Social Influence Technique Taxonomy (SITT), a comprehensive framework of 58 empirically grounded techniques organized into nine categories, designed to detect subtle forms of social influence in textual content. We also investigate the LLMs ability to identify various forms of social influence. Building on interdisciplinary foundations, we construct the SITT dataset -- a 746-dialogue corpus annotated by 11 experts in Polish and translated into English -- to evaluate the ability of LLMs to identify these techniques. Using a hierarchical multi-label classification setup, we benchmark five LLMs, including GPT-4o, Claude 3.5, Llama-3.1, Mixtral, and PLLuM. Our results show that while some models, notably Claude 3.5, achieved moderate success (F1 score = 0.45 for categories), overall performance of models remains limited, particularly for context-sensitive techniques. The findings demonstrate key limitations in current LLMs' sensitivity to nuanced linguistic cues and underscore the importance of domain-specific fine-tuning. This work contributes a novel resource and evaluation example for understanding how LLMs detect, classify, and potentially replicate strategies of social influence in natural dialogues.
• Abstract（参考訳）: 本研究は,9つのカテゴリに分類された58の実証的基礎技術からなる総合的な枠組みである社会影響技術分類法(SITT)を提示する。 また,LLMが社会的影響の様々な形態を識別する能力についても検討した。 学際的な基礎の上に構築されたSITTデータセット - ポーランドの11人の専門家によって注釈付けされ、英語に翻訳された746の対話コーパス - を構築し、これらのテクニックを識別するLLMの能力を評価する。 GPT-4o,Claude 3.5,Llama-3.1,Mixtral,PLLuMの5つのLCMを階層的に比較した。 以上の結果から,いくつかのモデル,特にClaude 3.5はある程度の成功を収めた(F1スコア=0.45)が,モデル全体の性能は,特に文脈に敏感な手法では限定的であることがわかった。 以上の結果から,現在のLLMのニュアンス言語的手がかりに対する感受性の限界が示され,ドメイン固有の微調整の重要性が浮き彫りになった。 この研究は、LLMが自然対話における社会的影響の戦略を検出し、分類し、潜在的に複製する方法を理解するための新しい資源と評価の例に貢献している。

関連論文リスト

• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• Scoring with Large Language Models: A Study on Measuring Empathy of Responses in Dialogues [3.2162648244439684]
  本研究では,対話における応答の共感を測り,評価する上で,大規模言語モデルがいかに効果的かを調べるための枠組みを開発する。 我々の戦略は、最新かつ微調整されたLLMの性能を明示的で説明可能な特徴で近似することである。 以上の結果から,組込みのみを用いる場合,ジェネリックLLMに近い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-28T20:37:57Z)
• A Statistical Analysis of LLMs' Self-Evaluation Using Proverbs [1.9073729452914245]
  本稿では,300対の確率対からなる新規な確率データベースについて紹介する。 そこで本研究では,テキストのコンバージェンスと,類似の証明における数値コンバージェンスを評価するテストを提案する。
  論文  参考訳（メタデータ） (2024-10-22T02:38:48Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [64.42462708687921]
  評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。 本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。 これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
  論文  参考訳（メタデータ） (2024-03-22T14:47:35Z)
• Whose LLM is it Anyway? Linguistic Comparison and LLM Attribution for GPT-3.5, GPT-4 and Bard [3.419330841031544]
  LLM(Large Language Model)は、人間の品質に類似したテキストを生成する能力を持つ。 我々は,最もポピュラーな3つのLLMから生成されるテキストの語彙,部分音声(POS)分布,依存性分布,感情を多様な入力と比較した。 その結果、言語学的に有意な変化を示し、88%の精度で所与のテキストをLLM起源とみなすことができた。
  論文  参考訳（メタデータ） (2024-02-22T13:25:17Z)
• Pushing The Limit of LLM Capacity for Text Classification [27.684335455517417]
  本稿では,特殊なテキスト分類 LLM を生成するための適応型ブースティングフレームワーク RGPT を提案する。 RGPTは,4つのベンチマークで平均1.36%,8個のSOTA PLMと7個のSOTA LLMより有意に優れていた。
  論文  参考訳（メタデータ） (2024-02-12T08:14:03Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。