論文の概要: HumanSense: From Multimodal Perception to Empathetic Context-Aware Responses through Reasoning MLLMs

• arxiv url: http://arxiv.org/abs/2508.10576v1
• Date: Thu, 14 Aug 2025 12:14:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.303196
• Title: HumanSense: From Multimodal Perception to Empathetic Context-Aware Responses through Reasoning MLLMs
• Title（参考訳）: ヒューマンセンス:マルチモーダル知覚から共感的文脈認識反応へ
• Authors: Zheng Qin, Ruobing Zheng, Yabing Wang, Tianqi Li, Yi Yuan, Jingdong Chen, Le Wang,
• Abstract要約: HumanSenseは、MLLMの人間中心の知覚と相互作用能力を評価するために設計されたベンチマークである。 評価の結果,先進的なMLLMには改善の余地が残っており,特に高度なインタラクション指向タスクでは改善の余地があることが判明した。 我々は,Omniモデルの推論能力を高めるために,多段階・モダリティ・プログレッシブ強化学習を採用する。
• 参考スコア（独自算出の注目度）: 30.610405087069637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Multimodal Large Language Models (MLLMs) show immense promise for achieving truly human-like interactions, progress is hindered by the lack of fine-grained evaluation frameworks for human-centered scenarios, encompassing both the understanding of complex human intentions and the provision of empathetic, context-aware responses. Here we introduce HumanSense, a comprehensive benchmark designed to evaluate the human-centered perception and interaction capabilities of MLLMs, with a particular focus on deep understanding of extended multimodal contexts and the formulation of rational feedback. Our evaluation reveals that leading MLLMs still have considerable room for improvement, particularly for advanced interaction-oriented tasks. Supplementing visual input with audio and text information yields substantial improvements, and Omni-modal models show advantages on these tasks. Furthermore, we argue that appropriate feedback stems from a contextual analysis of the interlocutor's needs and emotions, with reasoning ability serving as the key to unlocking it. Accordingly, we employ a multi-stage, modality-progressive reinforcement learning to enhance the reasoning abilities of an Omni model, achieving substantial gains on evaluation results. Additionally, we observe that successful reasoning processes exhibit highly consistent thought patterns. By designing corresponding prompts, we also enhance the performance of non-reasoning models in a training-free manner. Project page: \textcolor{brightpink}https://digital-avatar.github.io/ai/HumanSense/
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、真の人間的なインタラクションを実現するための大きな約束を示す一方で、複雑な人間の意図の理解と、共感的でコンテキスト対応の応答の提供の両方を含む、人間中心のシナリオに対するきめ細かい評価フレームワークの欠如によって、進歩が妨げられている。 本稿では、MLLMの人間中心の知覚と相互作用能力を評価するための総合的なベンチマークであるHumanSenseを紹介し、拡張マルチモーダルコンテキストの深い理解と合理的フィードバックの定式化に焦点を当てる。 評価の結果,先進的なMLLMには改善の余地が残っており,特に高度なインタラクション指向タスクでは改善の余地があることが判明した。 音声およびテキスト情報による視覚入力の補足は大幅に改善され、オムニモーダルモデルはこれらのタスクに利点を示す。 さらに, 適切なフィードバックは, インターロケータのニーズや感情の文脈的分析に起因し, 推論能力が鍵となる。 そこで我々は,Omniモデルの推論能力を高めるために,多段階・モダリティ・プログレッシブ強化学習を採用し,評価結果の大幅な向上を実現した。 さらに、我々は、成功した推論プロセスが極めて一貫した思考パターンを示すことを観察した。 対応するプロンプトを設計することにより、非共振モデルの性能をトレーニング不要で向上する。 プロジェクトページ: \textcolor{brightpink}https://digital-avatar.github.io/ai/HumanSense/

関連論文リスト

• Pixels, Patterns, but No Poetry: To See The World like Humans [33.773551676022514]
  最先端のMLLMは、人間にとって簡単な私たちの知覚上のタスクに破滅的な失敗を示します。 この論文は、推論から知覚へと焦点を移す。
  論文  参考訳（メタデータ） (2025-07-21T21:50:16Z)
• Human-Aligned Bench: Fine-Grained Assessment of Reasoning Ability in MLLMs vs. Humans [9.315735862658244]
  マルチモーダル推論と人的パフォーマンスのアライメントのためのベンチマークであるHuman-Aligned Benchを提案する。 両言語(中国語と英語)の多モーダル質問や純粋テキストベースの質問など、文脈的推論のみに依存する9,794の多モーダル質問を収集した。 マルチモーダル推論におけるMLLMの性能と人為的性能との間には顕著な違いがある。
  論文  参考訳（メタデータ） (2025-05-16T11:41:19Z)
• VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
  VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。 これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。 ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
  論文  参考訳（メタデータ） (2025-04-21T17:59:53Z)
• Explainable Recommendation with Simulated Human Feedback [8.532115411106068]
  提案する提案手法は,人為的なフィードバック駆動型最適化フレームワークである。 このフレームワークは、人中心で説明可能な要求を達成するために、高い労働コストを発生させることなく、動的にインタラクティブな最適化機構を使用する。 特に,大規模言語モデル(LLM)を人間のシミュレータとして利用して,学習プロセスの指針となる人間的なフィードバックを予測することを提案する。
  論文  参考訳（メタデータ） (2025-04-19T02:46:10Z)
• VERIFY: A Benchmark of Visual Explanation and Reasoning for Investigating Multimodal Reasoning Fidelity [34.29409506366145]
  VERIFYは最先端MLLMの視覚的推論能力を分離し、厳格に評価するために設計されたベンチマークである。 それぞれの問題には人手による推論パスが伴い、モデル決定プロセスの詳細な評価を初めて提供する。 本稿では,従来のモデル推論パターンにおける重要な不均衡を浮き彫りにして,単なる精度を超える視覚的推論の忠実さを評価する新しい指標を提案する。
  論文  参考訳（メタデータ） (2025-03-14T16:26:11Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• HumanVBench: Exploring Human-Centric Video Understanding Capabilities of MLLMs with Synthetic Benchmark Data [55.739633494946204]
  我々は,ビデオMLLMの評価において,ギャップを埋めるために巧みに構築された,革新的なベンチマークであるHumanVBenchを紹介する。 HumanVBenchは、内的感情と外的表現、静的、動的、基本的、複雑にまたがる2つの主要な側面と、単一モーダルとクロスモーダルという2つの側面を慎重に検討する16のタスクで構成されている。 22のSOTAビデオMLLMの総合評価では、特にクロスモーダルおよび感情知覚において、現在のパフォーマンスに顕著な制限が示される。
  論文  参考訳（メタデータ） (2024-12-23T13:45:56Z)
• VAGUE: Visual Contexts Clarify Ambiguous Expressions [15.140825578254324]
  目的のための視覚的コンテキストを統合するマルチモーダルAIシステムの能力を評価するベンチマークであるVAGUEを紹介する。 VAGUEは1.6Kの曖昧な文体表現で構成され、それぞれに画像と複数選択の解釈が組み合わされている。 我々の実験によると、既存のマルチモーダルAIモデルは話者の真の意図を推測するのに苦労している。
  論文  参考訳（メタデータ） (2024-11-21T14:01:42Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  データ構築とモデルチューニングを改善するためのフレームワークPersLLMを提案する。 データ利用が不十分な場合には、Chain-of-Thoughtプロンプトやアンチインダクションといった戦略を取り入れます。 厳密な振舞いパターンを設計し,モデルの性格の特異性とダイナミズムを高めるために自動DPOを導入する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。