論文の概要: APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.20785v1
• Date: Wed, 14 Oct 2026 18:28:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.016979
• Title: APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models
• Title（参考訳）: APRiL: 大規模言語モデルにおける中国の社会認識のためのオープンなベンチマーク
• Abstract要約: APRiL(APRiL)は、中国の社会認識のためのオープンなベンチマークである。 APRiLには、6つのカテゴリにまたがる2,196のソーシャルアウェアネス評価インスタンスと2つの補完的なタスクが含まれている。
• 参考スコア（独自算出の注目度）: 19.989745917192444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used in social interactions, where appropriate responses require recognizing implicit cues, inferring mental states, identifying conflicts, and considering potential consequences. However, existing benchmarks often focus on specific social abilities, constrained task formats, or particular interaction settings, offering limited coverage of social awareness across diverse contexts. To address this gap, we introduce APRiL, an open-ended benchmark for Chinese social awareness with instance-specific rubrics. APRiL contains 2,196 Social Awareness Evaluation Instances across six categories and two complementary tasks: Social Scenario Analysis evaluates models' understanding of social cues, mental states, and conflict structures, while Socially Aware Response assesses whether they can translate this understanding into appropriate, natural responses. Experiments on 12 models from six families reveal a consistent understanding-to-response gap. Higher-quality scenario analyses improve responses, while weak analyses may reduce response quality. APRiL provides a systematic resource for advancing socially aware language models in Chinese contexts. Our data and code are available at https://anonymous.4open.science/r/APRiL-05DE/.
• Abstract（参考訳）: 大きな言語モデルは、社会的相互作用においてますます使われており、適切な反応は暗黙の手がかりを認識し、精神状態の推測、紛争の特定、潜在的な結果の考察を必要とする。 しかし、既存のベンチマークは、特定の社会的能力、制約されたタスクフォーマット、または特定のインタラクション設定に焦点を合わせ、様々な状況における社会的認識の限られた範囲を提供する。 このギャップに対処するため,中国社会認識のためのオープンなベンチマークであるAPRiLを紹介した。 APRiLには6つのカテゴリにまたがる2,196の社会的意識評価インスタンスと2つの補完的なタスクが含まれている。 6つのファミリーの12モデルに対する実験では、一貫した理解と応答のギャップが示される。 高品質なシナリオ分析では応答が改善され、弱い分析では応答品質が低下する可能性がある。 APRiLは、中国の文脈で社会的に認識される言語モデルを進めるための体系的なリソースを提供する。 私たちのデータとコードはhttps://anonymous.4open.science/r/APRiL-05DE/で公開されています。

関連論文リスト

• NICE: A Theory-Grounded Diagnostic Benchmark for Social Intelligence of LLMs [18.51325484272099]
  大規模言語モデル(LLM)は、感情的な仲間関係やカスタマーサービスといった社会的文脈にますます適用されている。 既存のソーシャルインテリジェンスベンチマークには、社会的能力を統一された構造に整理する統一されたフレームワークが欠如している。 NICEは中国の代表的な文脈を通して運用された137項目の診断ベンチマークである。
  論文  参考訳（メタデータ） (2026-05-28T09:51:06Z)
• Social Caption: Evaluating Social Understanding in Multimodal Models [23.008965893705767]
  社会的理解能力は、人間の社会的相互作用を解釈するために、マルチモーダルな大言語モデル(MLLM)にとって不可欠である。 本稿では,MLLMの社会的理解能力を評価するための相互作用理論に基づくフレームワークであるSocial Captionを紹介する。 我々は,スケール,建築設計,音声コンテキストなどの社会的理解におけるモデル性能に影響を与える要因を分析した。
  論文  参考訳（メタデータ） (2026-01-21T01:10:42Z)
• Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues [32.86600072956612]
  映画脚本をベースとした1k対話データセットであるSCRIPTSを紹介した。 この課題は、各対話における話者間の対人関係を推測するモデルの社会的推論能力を評価することである。 思考モデルとチェーン・オブ・シークレットが一般的な推論に有効であり、社会的推論に最小限の利益をもたらし、時には社会的バイアスを増幅することを発見した。
  論文  参考訳（メタデータ） (2025-10-21T19:12:47Z)
• SocialNLI: A Dialogue-Centric Social Inference Dataset [49.60157928163403]
  第1回社会対話推論データセットSocialNLIを紹介する。 SocialNLIは、複雑な社会的ニュアンスの中心となるために手書きの対話文からなる。 多段階の反実的推論による推論モデルの評価を行う。
  論文  参考訳（メタデータ） (2025-10-06T23:42:01Z)
• SIV-Bench: A Video Benchmark for Social Interaction Understanding and Reasoning [53.16179295245888]
  SIV-Benchは、SSU(Social Scene Understanding)、SSR(Social State Reasoning)、SDP(Social Dynamics Prediction)におけるMLLM(Multimodal Large Language Models)の機能を評価するための新しいビデオベンチマークである。 SIV-Benchは、2,792本のビデオクリップと8,792本の人間とLLMのコラボレーティブパイプラインから得られた精巧に生成された質問応答ペアを備えている。 また、異なるテキストキュー固有のオンスクリーンテキスト、追加の対話、あるいはノーテキストの影響を分析するための専用の設定も含まれている。
  論文  参考訳（メタデータ） (2025-06-05T05:51:35Z)
• SocialMaze: A Benchmark for Evaluating Social Reasoning in Large Language Models [41.68365456601248]
  社会的推論を評価するために特別に設計された新しいベンチマークであるSocialMazeを紹介する。 SocialMazeは、深い推論、動的なインタラクション、情報の不確実性という3つの主要な課題を体系的に取り入れている。 ソーシャル推論ゲーム、日々のインタラクション、デジタルコミュニティプラットフォームという3つの主要な設定にまたがる6つの多様なタスクを提供する。
  論文  参考訳（メタデータ） (2025-05-29T17:47:36Z)
• Social Genome: Grounded Social Reasoning Abilities of Multimodal Models [61.88413918026431]
  社会的推論能力は、AIシステムが社会的文脈内でのマルチモーダルなヒューマンコミュニケーションと相互作用を解釈し、応答する上で不可欠である。 SOCIAL GENOMEは,マルチモーダルモデルのきめ細かな基礎的な社会的推論能力を示す最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-02-21T00:05:40Z)
• DeSIQ: Towards an Unbiased, Challenging Benchmark for Social Intelligence Understanding [60.84356161106069]
  複雑な社会的相互作用のビデオ上での複数選択質問のデータセットであるSocial-IQの健全性について検討する。 分析の結果,Social-IQにはある程度のバイアスがあり,適度に強い言語モデルによって活用できることがわかった。 ソーシャルIQに単純な摂動を適用して構築した,新たな挑戦的データセットであるDeSIQを紹介する。
  論文  参考訳（メタデータ） (2023-10-24T06:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。