論文の概要: SocialNLI: A Dialogue-Centric Social Inference Dataset

• arxiv url: http://arxiv.org/abs/2510.05458v1
• Date: Mon, 06 Oct 2025 23:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.032389
• Title: SocialNLI: A Dialogue-Centric Social Inference Dataset
• Title（参考訳）: SocialNLI: 対話中心のソーシャル推論データセット
• Authors: Akhil Deo, Kate Sanders, Benjamin Van Durme,
• Abstract要約: 第1回社会対話推論データセットSocialNLIを紹介する。 SocialNLIは、複雑な社会的ニュアンスの中心となるために手書きの対話文からなる。 多段階の反実的推論による推論モデルの評価を行う。
• 参考スコア（独自算出の注目度）: 49.60157928163403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Making theory-of-mind inferences from human dialogue is a strong indicator of a model's underlying social abilities, which are fundamental for adept AI assistants. However, large language and reasoning models struggle to understand sophisticated social phenomena in transcript data, such as sarcasm and irony. To assess the weaknesses of current models and to identify their solutions, we introduce SocialNLI (SoNLI) -- the first social dialogue inference dataset. SoNLI consists of a collection of dialogue transcripts hand-picked to center complex social nuances like irony and sarcasm, paired with inferences, corresponding likelihood scores, and human-written explanations. We explore social inference analysis as a facet of theory-of-mind, and evaluate LLM and reasoning model theory-of-mind ability through multi-step counterfactual reasoning.
• Abstract（参考訳）: 人間の対話からミンド理論を推論することは、モデルの基礎となる社会的能力の強力な指標であり、AIアシスタントの基本である。 しかし、大きな言語と推論モデルは、皮肉や皮肉といった書記データの中で洗練された社会現象を理解するのに苦労している。 現在のモデルの弱点を評価し、その解決策を特定するために、最初の社会対話推論データセットであるSocialNLI(SoNLI)を紹介します。 SoNLIは、皮肉や皮肉といった複雑な社会的なニュアンスの中心となるために手書きの対話書き起こしを手書きで作成し、推論、対応する確率スコア、人間による説明と組み合わせて構成している。 多段階の反実的推論によるLLMと推論モデル能力の評価を行った。

関連論文リスト

• SocialMaze: A Benchmark for Evaluating Social Reasoning in Large Language Models [41.68365456601248]
  社会的推論を評価するために特別に設計された新しいベンチマークであるSocialMazeを紹介する。 SocialMazeは、深い推論、動的なインタラクション、情報の不確実性という3つの主要な課題を体系的に取り入れている。 ソーシャル推論ゲーム、日々のインタラクション、デジタルコミュニティプラットフォームという3つの主要な設定にまたがる6つの多様なタスクを提供する。
  論文  参考訳（メタデータ） (2025-05-29T17:47:36Z)
• Social Genome: Grounded Social Reasoning Abilities of Multimodal Models [61.88413918026431]
  社会的推論能力は、AIシステムが社会的文脈内でのマルチモーダルなヒューマンコミュニケーションと相互作用を解釈し、応答する上で不可欠である。 SOCIAL GENOMEは,マルチモーダルモデルのきめ細かな基礎的な社会的推論能力を示す最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-02-21T00:05:40Z)
• Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs [77.88043871260466]
  私たちは、今日の最大の言語モデルのひとつに、このようなソーシャルインテリジェンスを最初から欠いていることを示しています。 我々は、人中心のNLPアプローチは、マインドの神経理論に対してより効果的であるかもしれないと結論づける。
  論文  参考訳（メタデータ） (2022-10-24T14:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。