論文の概要: Multimodal Rapport Estimation in Real-World HRI

• arxiv url: http://arxiv.org/abs/2608.18401v1
• Date: Wed, 19 Aug 2026 00:15:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.237
• Title: Multimodal Rapport Estimation in Real-World HRI
• Title（参考訳）: 実世界HRIにおけるマルチモーダルRapport推定
• Abstract要約: 本研究では, 製薬店で収集した62セッションのマルチモーダル記録を用いて, 第三者評価ラプポートスコアの自動推定について検討した。 ゼロショットLLM、事前訓練されたテキスト、オーディオ、視覚モデル、およびそれらの予測レベル融合を比較した。 その結果,実世界のHRIではゼロショットLLMは高い性能を示し,オーディオモデルとビジュアルモデルは相補的な情報を提供する傾向にあることがわかった。
• 参考スコア（独自算出の注目度）: 2.6550381411396224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating interaction quality in real-world HRI is an important challenge. If interaction quality can be estimated reliably, the results can be used to improve dialogue strategies and ultimately enable robots to adapt their behavior autonomously. However, existing automatic evaluation methods have been developed primarily in controlled laboratory settings, and it remains unclear whether they can be directly applied to real-world environments, where users are free to disengage and multi-party participation may arise naturally. In this study, we investigate the automatic estimation of third-party-rated rapport scores using 62 sessions of multimodal recordings collected in a Japanese drugstore. We compare zero-shot LLMs, pretrained text, audio, and visual models, and their prediction-level fusion. The results show that, in real-world HRI, zero-shot LLMs achieve strong performance, while audio and visual models tend to provide complementary information. In particular, Gemini 2.5 Flash performs strongly as a single model, and a fusion model combining Gemini (text) with HuBERT and V-JEPA performs best overall. Further analyses showed that estimation performance varied across interaction-duration and group-size conditions. These findings suggest that rapport estimation in real-world HRI requires evaluation and model design that account for contextual variability beyond that assumed in laboratory settings.
• Abstract（参考訳）: 現実世界のHRIにおけるインタラクション品質の評価は重要な課題である。 対話の質を確実に見積もることができれば、結果は対話戦略を改善し、最終的にはロボットが自律的に行動に適応できるようにするのに役立てることができる。 しかし, 既存の自動評価手法は, 主に制御された実験室環境において開発されており, ユーザが自由に参加でき, 多人数参加が自然に起こりうる現実世界環境に直接適用できるかどうかは不明である。 本研究では, 製薬店で収集した62セッションのマルチモーダル記録を用いて, 第三者評価ラプポートスコアの自動推定について検討した。 ゼロショットLLM、事前訓練されたテキスト、オーディオ、視覚モデル、およびそれらの予測レベル融合を比較した。 その結果,実世界のHRIではゼロショットLLMは高い性能を示し,オーディオモデルとビジュアルモデルは相補的な情報を提供する傾向にあることがわかった。 特に、Gemini 2.5 Flashは単一のモデルとして強く機能し、Gemini(テキスト)とHuBERTとV-JEPAを組み合わせた融合モデルは全体として最も優れている。 さらに,インタラクションデューレーションとグループサイズ条件によって,推定性能が異なっていた。 これらの結果から,実世界のHRIにおけるラプポート推定には,実験室で想定される以上の文脈変動を考慮した評価とモデル設計が必要であることが示唆された。

関連論文リスト

• DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
  DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。 我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
  論文  参考訳（メタデータ） (2026-06-24T22:40:46Z)
• Personalized and Robust Proactive Robot Assistance with Uncertainty-Guided LLM Reasoning [4.243926243206826]
  家庭環境における積極的ロボット支援は、ダイナミックでノイズの多い環境下での人間の活動と物体の使用を正確に予測する必要がある。 我々は,n時間マルコフモデルと不確実性誘導型大言語モデル(LLM)推論を組み合わせた軽量なフレームワークGLOBEを提案する。 その結果、GLOBEは最先端の手法と競合する性能を達成し、クリーンノイズの両設定における堅牢性と計算効率を改善した。
  論文  参考訳（メタデータ） (2026-06-07T05:18:30Z)
• Ensembles of Large Language Models for Identifying EQ-5D Studies in PubMed Based on Their Abstracts [0.30786914102688595]
  EQ-5Dデータのような健康関連QOLの結果を明確に報告する分類研究は、高いレベルの臨床解釈を必要とする。 本研究では,Google の Gemini と Gemma の大規模言語モデル (LLMs) を用いて,バイオメディカルデータベース PubMed における EQ-5D の自動検出について検討した。
  論文  参考訳（メタデータ） (2026-04-24T21:42:39Z)
• Dual-Axis Generative Reward Model Toward Semantic and Turn-taking Robustness in Interactive Spoken Dialogue Models [45.119381322968735]
  良く設計された報酬信号は強化学習(RL)に不可欠である 本モデルは,多種多様なデータセットを対象としたインタラクション品質評価の最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-16T12:03:50Z)
• SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models [86.19617358080016]
  Social Omniは、3つのコア次元にわたる対話性の評価を運用するベンチマークである。 Social Omniは2000の知覚サンプルと209の相互作用生成インスタンスの品質管理された診断セットを備えている。 本分析により,モデルの知覚的精度と,文脈的に適切な割り込みを生成する能力との間に顕著な疎結合が明らかとなった。
  論文  参考訳（メタデータ） (2026-03-17T17:58:44Z)
• Evaluating Zero-Shot and One-Shot Adaptation of Small Language Models in Leader-Follower Interaction [1.3511057160494195]
  リーダー-フォロワー相互作用は人間-ロボット相互作用(HRI)において重要なパラダイムである 小言語モデル(SLM)は潜在的な代替手段を提供するが、HRIにおける役割分類の有効性は体系的に評価されていない。
  論文  参考訳（メタデータ） (2026-02-26T18:20:26Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。