論文の概要: SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers
- arxiv url: http://arxiv.org/abs/2602.05115v1
- Date: Wed, 04 Feb 2026 23:04:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 18:49:08.659607
- Title: SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers
- Title(参考訳): SocialVeil:コミュニケーション障壁下での言語エージェントのソーシャルインテリジェンスを探る
- Authors: Keyang Xuan, Pengda Wang, Chongrui Ye, Haofei Yu, Tal August, Jiaxuan You,
- Abstract要約: textscSocialVeilは、認知差によるコミュニケーション障壁下での社会的相互作用をシミュレートできる社会学習環境である。
相互理解は平均で45%以上減少し,混乱は50%近く増加した。
- 参考スコア(独自算出の注目度): 30.204481123869186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly evaluated in interactive environments to test their social intelligence. However, existing benchmarks often assume idealized communication between agents, limiting our ability to diagnose whether LLMs can maintain and repair interactions in more realistic, imperfect settings. To close this gap, we present \textsc{SocialVeil}, a social learning environment that can simulate social interaction under cognitive-difference-induced communication barriers. Grounded in a systematic literature review of communication challenges in human interaction, \textsc{SocialVeil} introduces three representative types of such disruption, \emph{semantic vagueness}, \emph{sociocultural mismatch}, and \emph{emotional interference}. We also introduce two barrier-aware evaluation metrics, \emph{unresolved confusion} and \emph{mutual understanding}, to evaluate interaction quality under impaired communication. Experiments across 720 scenarios and four frontier LLMs show that barriers consistently impair performance, with mutual understanding reduced by over 45\% on average, and confusion elevated by nearly 50\%. Human evaluations validate the fidelity of these simulated barriers (ICC$\approx$0.78, Pearson r$\approx$0.80). We further demonstrate that adaptation strategies (Repair Instruction and Interactive learning) only have a modest effect far from barrier-free performance. This work takes a step toward bringing social interaction environments closer to real-world communication, opening opportunities for exploring the social intelligence of LLM agents.
- Abstract(参考訳): 大規模言語モデル(LLM)は、社会的知性をテストするために、インタラクティブな環境でますます評価されている。
しかし、既存のベンチマークではエージェント間の理想的なコミュニケーションを前提としており、LLMがより現実的で不完全な環境で相互作用を維持および修復できるかどうかを診断する能力を制限することができる。
このギャップを埋めるために,認知差によるコミュニケーション障壁下での社会的相互作用をシミュレートできる社会学習環境である「textsc{SocialVeil}」を提案する。
人的相互作用におけるコミュニケーションの課題に関する体系的な文献レビューにおいて、 \textsc{SocialVeil} は、このような破壊の代表的な3つのタイプである \emph{semantic vagueness} 、 \emph{socio cultural mismatch} 、 \emph{emotional interference} を紹介している。
また、障害のある通信における相互作用品質を評価するために、2つの障壁認識評価指標である「emph{unresolved confusion}」と「emph{mutual understanding}」も導入した。
720のシナリオと4つのフロンティアLCMによる実験では、バリアが一貫してパフォーマンスを損なうことが示され、相互理解は平均45セント以上低下し、混乱は50セント近く上昇した。
人間の評価は、これらのシミュレートされた障壁(ICC$\approx$0.78, Pearson r$\approx$0.80)の忠実さを検証する。
さらに,適応戦略(Repair InstructionとInteractive Learning)がバリアフリー性能からかけ離れた程度の効果しか持たないことを示す。
本研究は,LLMエージェントのソーシャルインテリジェンスを探求する機会を開き,実世界のコミュニケーションにソーシャルインタラクション環境を近づけるための一歩を踏み出した。
関連論文リスト
- S$^3$IT: A Benchmark for Spatially Situated Social Intelligence Test [26.79990069295221]
本稿では,具体的ソーシャルインテリジェンスを評価するために特別に設計されたベンチマークである空間決定型ソーシャルインテリジェンステスト(S$3$IT)を紹介する。
エージェントは大規模な言語モデル駆動NPCのグループのために3D環境に座席を配置する必要がある。
我々のフレームワークは、制御し難い広い多様なシナリオ空間を生成し、エージェントに活発な対話を通して好みを取得し、自律的な探索を通して環境を知覚し、複雑な制約ネットワーク内で多目的最適化を行うよう促す。
論文 参考訳(メタデータ) (2025-12-23T02:36:56Z) - Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。
本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。
大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
論文 参考訳(メタデータ) (2024-09-13T18:28:12Z) - SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。
この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
論文 参考訳(メタデータ) (2024-03-13T17:17:48Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳(メタデータ) (2024-01-12T11:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。