論文の概要: SocialMind: LLM-based Proactive AR Social Assistive System with Human-like Perception for In-situ Live Interactions

• arxiv url: http://arxiv.org/abs/2412.04036v1
• Date: Thu, 05 Dec 2024 10:19:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:10.312638
• Title: SocialMind: LLM-based Proactive AR Social Assistive System with Human-like Perception for In-situ Live Interactions
• Title（参考訳）: SocialMind: LLMをベースとした人間ライクな知覚型アクティブARソーシャル・アシストシステムによるin-situ Liveインタラクション
• Authors: Bufang Yang, Yunqi Guo, Lilin Xu, Zhenyu Yan, Hongkai Chen, Guoliang Xing, Xiaofan Jiang,
• Abstract要約: SocialMindは、ユーザーがその場でソーシャル・アシストを提供する最初のアクティブなARソーシャル・アシスト・システムだ。 SocialMindは、多モードセンサーを活用して、言語と非言語の両方の手がかり、社会的要因、暗黙のペルソナを抽出する。 我々は,SocialMindがベースラインよりも38.3%高いエンゲージメントを達成し,95%の参加者が生のソーシャルインタラクションにSocialMindを積極的に利用していることを示す。
• 参考スコア（独自算出の注目度）: 3.7400236988012105
• License:
• Abstract: Social interactions are fundamental to human life. The recent emergence of large language models (LLMs)-based virtual assistants has demonstrated their potential to revolutionize human interactions and lifestyles. However, existing assistive systems mainly provide reactive services to individual users, rather than offering in-situ assistance during live social interactions with conversational partners. In this study, we introduce SocialMind, the first LLM-based proactive AR social assistive system that provides users with in-situ social assistance. SocialMind employs human-like perception leveraging multi-modal sensors to extract both verbal and nonverbal cues, social factors, and implicit personas, incorporating these social cues into LLM reasoning for social suggestion generation. Additionally, SocialMind employs a multi-tier collaborative generation strategy and proactive update mechanism to display social suggestions on Augmented Reality (AR) glasses, ensuring that suggestions are timely provided to users without disrupting the natural flow of conversation. Evaluations on three public datasets and a user study with 20 participants show that SocialMind achieves 38.3% higher engagement compared to baselines, and 95% of participants are willing to use SocialMind in their live social interactions.
• Abstract（参考訳）: 社会的相互作用は人間の生活の基本である。 近年の大型言語モデル(LLM)ベースの仮想アシスタントは、人間のインタラクションやライフスタイルに革命をもたらす可能性を実証している。 しかし、既存の支援システムは、会話相手とのライブなソーシャルインタラクションの間、その場でのアシストを提供するのではなく、主に個々のユーザに対してリアクティブサービスを提供している。 本研究では,初となるLDMベースのプロアクティブARソーシャルアシストシステムであるSocialMindを紹介する。 SocialMindは、マルチモーダルセンサーを活用して、言語と非言語の両方の手がかり、社会的要因、暗黙のペルソナを抽出し、これらの社会的手がかりをLLM推論に取り入れ、社会的提案を生成する。 さらに、SocialMindは多層共同生成戦略と積極的な更新メカニズムを採用し、Augmented Reality(AR)メガネにソーシャル提案を表示することで、会話の自然な流れを乱すことなく、ユーザにタイムリーな提案を提供することを保証する。 3つの公開データセットの評価と20人の参加者によるユーザスタディによると、SocialMindはベースラインよりも38.3%高いエンゲージメントを達成しており、95%の参加者が生のソーシャルインタラクションにSocialMindを積極的に利用している。

関連論文リスト

• Advancing Social Intelligence in AI Agents: Technical Challenges and Open Questions [67.60397632819202]
  ソーシャルインテリジェントAIエージェント(Social-AI)の構築は、多分野、マルチモーダルな研究目標である。 我々は、社会AIを前進させるために、基礎となる技術的課題と、コンピューティングコミュニティ全体にわたる研究者のためのオープンな質問を特定します。
  論文  参考訳（メタデータ） (2024-04-17T02:57:42Z)
• SocialBench: Sociality Evaluation of Role-Playing Conversational Agents [85.6641890712617]
  大規模言語モデル(LLM)は、様々なAI対話エージェントの開発を進めてきた。 SocialBenchは、ロールプレイングの会話エージェントの社会的性を個人レベルとグループレベルで評価するために設計された最初のベンチマークである。 個人レベルで優れたエージェントは,集団レベルでの熟練度を示唆しない。
  論文  参考訳（メタデータ） (2024-03-20T15:38:36Z)
• SOTOPIA-$π$: Interactive Learning of Socially Intelligent Language Agents [73.35393511272791]
  本稿では,対話型学習手法であるSOTOPIA-$pi$を提案する。 この手法は,大規模言語モデル(LLM)の評価に基づいて,フィルタリングされた社会的相互作用データに対する行動クローニングと自己強化トレーニングを活用する。
  論文  参考訳（メタデータ） (2024-03-13T17:17:48Z)
• SOTOPIA: Interactive Evaluation for Social Intelligence in Language Agents [107.4138224020773]
  人工エージェントと人間との複雑な社会的相互作用をシミュレートするオープンエンド環境であるSOTOPIAを提案する。 エージェントは、複雑な社会的目標を達成するために協調し、協力し、交換し、互いに競い合う。 GPT-4は,人間よりも目標達成率が著しく低く,社会的常識的推論や戦略的コミュニケーション能力の発揮に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2023-10-18T02:27:01Z)
• Social World Knowledge: Modeling and Applications [2.9417848476446364]
  社会世界の知識は、人間や機械による効果的なコミュニケーションと情報処理の重要な要素である。 ソーシャルネットワークで発生する社会的文脈から低次元の実体埋め込みを抽出するフレームワークであるSocialVecを紹介する。 テキストセマンティクスを含む作業を容易にする単語埋め込みと同様に、学習されたソーシャルエンティティ埋め込みは、複数のソーシャルフレーバーのタスクに利益をもたらすことを期待する。
  論文  参考訳（メタデータ） (2023-06-28T15:25:30Z)
• Virtual Reality Training of Social Skills in Autism Spectrum Disorder: An Examination of Acceptability, Usability, User Experience, Social Skills, and Executive Functions [0.0]
  自閉症スペクトラム障害(ASD)における社会的スキルの低下は、日常生活における自立の低下と関連している。 バーチャルリアリティ(VR)は、現実の社会環境や状況における社会的スキルトレーニングを促進する。 ASDの25人の被験者が、神経心理学的評価とVRソーシャルスキルトレーニングの3つのセッションに参加した。
  論文  参考訳（メタデータ） (2023-04-15T07:54:37Z)
• Social Practices: a Complete Formalization [1.370633147306388]
  本稿では,社会実践概念に基づくエージェントのための社会枠組みの定式化について述べる。 社会的実践は、標準的な社会的相互作用におけるエージェントの実践的推論を促進する。 彼らはまた、社会的計画と熟考のためのハンドルを提供する社会的文脈も持っている。
  論文  参考訳（メタデータ） (2022-05-22T09:58:42Z)
• Social Behaviour Understanding using Deep Neural Networks: Development of Social Intelligence Systems [2.107969466194361]
  ソーシャル・コンピューティングは、ソーシャル・インテリジェンス・システムの誕生に向けて、社会情報学を超えて進化してきた。 本稿では,深層ニューラルネットワークを用いた社会的行動理解フレームワークを提案する。 うつ病の検出、活動認識、認知障害スクリーニングを含む3つのシステムは、明らかに社会的知性の重要性を示すために開発されている。
  論文  参考訳（メタデータ） (2021-05-20T03:19:55Z)
• PHASE: PHysically-grounded Abstract Social Events for Machine Social Perception [50.551003004553806]
  私たちは、物理的に根拠のある抽象的なソーシャルイベント、フェーズのデータセットを作成します。 フェーズは人間の実験によって検証され、人間は社会出来事において豊かな相互作用を知覚する。 ベースラインモデルとして,最新のフィードフォワードニューラルネットワークよりも優れたベイズ逆計画手法SIMPLEを導入する。
  論文  参考訳（メタデータ） (2021-03-02T18:44:57Z)
• Can You be More Social? Injecting Politeness and Positivity into Task-Oriented Conversational Agents [60.27066549589362]
  人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。 このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。 人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
  論文  参考訳（メタデータ） (2020-12-29T08:22:48Z)
• Towards Social Identity in Socio-Cognitive Agents [0.0]
  認知社会フレームの概念に基づく社会認知エージェントモデルを提案する。 認知社会フレームは、社会集団を中心に構築され、社会集団のダイナミックス機構と社会的アイデンティティの構成の基礎を形成する。
  論文  参考訳（メタデータ） (2020-01-20T15:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。