Fugu-MT 論文翻訳(概要): SocialArena: Evaluating Social Intelligence in Large Language Models

論文の概要: SocialArena: Evaluating Social Intelligence in Large Language Models

arxiv url: http://arxiv.org/abs/2610.39247v1
Date: Thu, 29 Oct 2026 03:00:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-01 01:32:10.031782
Title: SocialArena: Evaluating Social Intelligence in Large Language Models
Title（参考訳）: SocialArena: 大規模言語モデルにおけるソーシャルインテリジェンスの評価
Abstract要約: SocialArenaは、大規模言語モデルの社会的インテリジェンスを体系的に定義し評価するためのベンチマークである。まず,ソーシャルインテリジェンスを3つの能力次元に沿って定義する3層統合フレームワークを提案する。 U-TRIMFフレームワークを導入し、広い範囲の社会的文脈の合成を指導する。
参考スコア（独自算出の注目度）: 105.89992871729397
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce SocialArena, a benchmark for systematically defining and evaluating the social intelligence of large language models (LLMs). Although LLMs are increasingly deployed in socially interactive applications such as mental health counseling, companionship chatbots, and educational tutoring, existing evaluations remain fragmented focusing on isolated capabilities or single scenarios and evaluation reliability is largely unverified. This work makes three main contributions to address these limitations. (1) We first propose a unified three-tier framework that defines social intelligence along three capability dimensions: role-playing ability, mental state reasoning, and behavioral reasoning. To operationalize this definition, we design a role-playing dialogue paradigm with explicit character thinking for evaluation, enabling simultaneous assessment of these capabilities in a manner that mirrors realistic human interactions. (2) To ensure diversity across social scenarios and thereby prevent evaluation conclusions from being confined to specific scenarios, we introduce the U-TRIMF framework, which guides us in synthesizing social contexts with broad coverage. (3) To obtain reliable evaluation, we invest $132.4K to recruit and train human annotators and adopt a human-annotated arena-style protocol, where annotators compare model responses and provide preference labels along with natural-language critiques. We hope that SocialArena can provide valuable insights and guidance for future LLM improvements.
Abstract（参考訳）: 大規模言語モデル(LLM)の社会的インテリジェンスを体系的に定義し評価するためのベンチマークであるSocialArenaを紹介する。 LLMは、メンタルヘルスカウンセリング、コンパニオンチャットボット、教育指導など、社会的にインタラクティブなアプリケーションにますます導入されているが、既存の評価は、孤立した能力や単一のシナリオに焦点を絞って断片化され、信頼性がほとんど検証されていない。この研究は、これらの制限に対処するために3つの主要な貢献をする。 1) ソーシャルインテリジェンスを3つの能力の側面に沿って定義する統合された3段階の枠組みをまず提案する。この定義を運用するために,現実的な人間同士の相互作用を反映してこれらの能力の同時評価を可能にする,明示的なキャラクター思考によるロールプレイング・ダイアログ・パラダイムを設計する。 2) 社会的シナリオの多様性を確保し, 評価結論が特定のシナリオに限定されることを防止するため, U-TRIMFフレームワークを導入する。 (3) 信頼性の高い評価を得るために、我々は132.4Kを投資し、人間のアノテータを募集し、アリーナスタイルのプロトコルを採用し、アノテータはモデル応答を比較し、自然言語の批評とともに好みラベルを提供する。 SocialArenaが今後のLCMの改善に貴重な洞察とガイダンスを提供できることを願っています。

関連論文リスト

APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models [19.989745917192444]
APRiL(APRiL)は、中国の社会認識のためのオープンなベンチマークである。 APRiLには、6つのカテゴリにまたがる2,196のソーシャルアウェアネス評価インスタンスと2つの補完的なタスクが含まれている。
論文参考訳（メタデータ） (2026-10-14T18:28:42Z)
PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios [14.997265451547486]
社会的知能は認知知能、他者の精神状態を推測する能力、行動知能から構成される。 PerSoはRedditのChangeMyViewコミュニティによる現実世界の説得対話に関する両方の側面を評価するベンチマークである。 LLMの多種多様な評価は、一般にモデルサイズでスケールするが、寸法によって異なることを示す。
論文参考訳（メタデータ） (2026-10-14T17:39:35Z)
NICE: A Theory-Grounded Diagnostic Benchmark for Social Intelligence of LLMs [18.51325484272099]
大規模言語モデル(LLM)は、感情的な仲間関係やカスタマーサービスといった社会的文脈にますます適用されている。既存のソーシャルインテリジェンスベンチマークには、社会的能力を統一された構造に整理する統一されたフレームワークが欠如している。 NICEは中国の代表的な文脈を通して運用された137項目の診断ベンチマークである。
論文参考訳（メタデータ） (2026-05-28T09:51:06Z)
SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution [82.31558282651811]
複雑な対人相互作用をナビゲートするソーシャルインテリジェンスは、言語エージェントに根本的な課題を提示する。既存のアプローチでは、言語モデルを直接使用してエピソードレベルの報酬を分配する。協調ゲーム理論に基づく新しい原理的枠組みであるSAVOIRを提案する。
論文参考訳（メタデータ） (2026-04-21T02:08:25Z)
SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models [86.19617358080016]
Social Omniは、3つのコア次元にわたる対話性の評価を運用するベンチマークである。 Social Omniは2000の知覚サンプルと209の相互作用生成インスタンスの品質管理された診断セットを備えている。本分析により,モデルの知覚的精度と,文脈的に適切な割り込みを生成する能力との間に顕著な疎結合が明らかとなった。
論文参考訳（メタデータ） (2026-03-17T17:58:44Z)
SocialNLI: A Dialogue-Centric Social Inference Dataset [49.60157928163403]
第1回社会対話推論データセットSocialNLIを紹介する。 SocialNLIは、複雑な社会的ニュアンスの中心となるために手書きの対話文からなる。多段階の反実的推論による推論モデルの評価を行う。
論文参考訳（メタデータ） (2025-10-06T23:42:01Z)
SocialEval: Evaluating Social Intelligence of Large Language Models [70.90981021629021]
ソーシャルインテリジェンス(英語版) (SI) は、社会的目標を達成するために社会的相互作用をナビゲートする際に賢明に行動する対人能力を持つ人間を装備する。結果指向の目標達成評価とプロセス指向の対人能力評価という,運用評価パラダイムを提示する。スクリプトベースのバイリンガルSIベンチマークであるSocialEvalを提案する。
論文参考訳（メタデータ） (2025-06-01T08:36:51Z)
SocialMaze: A Benchmark for Evaluating Social Reasoning in Large Language Models [41.68365456601248]
社会的推論を評価するために特別に設計された新しいベンチマークであるSocialMazeを紹介する。 SocialMazeは、深い推論、動的なインタラクション、情報の不確実性という3つの主要な課題を体系的に取り入れている。ソーシャル推論ゲーム、日々のインタラクション、デジタルコミュニティプラットフォームという3つの主要な設定にまたがる6つの多様なタスクを提供する。
論文参考訳（メタデータ） (2025-05-29T17:47:36Z)
Training Socially Aligned Language Models on Simulated Social Interactions [99.39979111807388]
AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
論文参考訳（メタデータ） (2023-05-26T14:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。