論文の概要: Breaking the 15% Barrier: A Real-World Data-Driven System for Proactive Social Robot Triggered by User Nonverbal Cues

• arxiv url: http://arxiv.org/abs/2607.11633v1
• Date: Mon, 13 Jul 2026 14:49:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.5085
• Title: Breaking the 15% Barrier: A Real-World Data-Driven System for Proactive Social Robot Triggered by User Nonverbal Cues
• Title（参考訳）: 15%障壁を突破する: ユーザ非言語クイズによるプロアクティブなソーシャルロボットのための実世界データ駆動システム
• Abstract要約: ロボットターンの非無視部分は、音声入力よりも非言語行動によって引き起こされる。 ビデオからオンライン上で動作可能なリアルタイム多人数多ラベル認識器を開発した。 提案手法を非言語ターンでオフラインで評価し,ユーザの非言語キューにリアルタイムで反応するオンラインプロトタイプを実演する。
• 参考スコア（独自算出の注目度）: 1.0874100424278175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Service robots in retail stores increasingly rely on cascaded speech pipelines (STT-LLM-TTS), yet many customer-robot interactions are initiated or guided by nonverbal behaviors such as approaching, waving, pointing, or showing items. This paper studies such cues in a real-world store deployment with a teleoperated humanoid robot and shows that a non-negligible portion of robot turns are triggered by nonverbal behaviors rather than spoken input, revealing a limitation of audio-only dialogue systems. In a 6-day in-the-wild deployment, 15.3\% of robot utterances were initiated by users' nonverbal behaviors rather than spoken input. Based on an analysis of observed customer behaviors, we define a set of frequent, service-relevant nonverbal cues and develop a real-time multi-person, multi-label recognizer that runs online from video. We then propose a dialogue framework that conditions LLM-based utterance generation on recognized nonverbal cue tokens, and optionally leverages a vision-language model when items are shown, enabling proactive robot responses without hand-crafted rules. We evaluate the approach offline on nonverbal-triggered turns and demonstrate an online prototype that reacts to users' nonverbal cues in real time.
• Abstract（参考訳）: 小売店のサービスロボットは、益々カスケードされた音声パイプライン(STT-LLM-TTS)に依存している。 本稿では,遠隔操作型ヒューマノイドロボットを用いた実店舗展開において,音声入力よりも非言語行動によってロボット回転の非無視部分が引き起こされることを示すとともに,音声のみの対話システムの制限を明らかにした。 6日間のデプロイメントでは、音声入力ではなく、ユーザの非言語行動によって、ロボット発話の15.3\%が開始された。 観察された顧客の行動の分析に基づいて、頻繁なサービス関連非言語的手がかりのセットを定義し、ビデオからオンラインで実行されるリアルタイム多人数多ラベル認識器を開発する。 次に、認識された非言語的キュートークンにLLMに基づく発話生成を条件付け、項目を表示する際に視覚言語モデルを任意に活用し、手作りのルールを使わずにプロアクティブなロボット応答を可能にする対話フレームワークを提案する。 提案手法は,非言語的なターンでオフラインで評価し,ユーザの非言語的キューにリアルタイムで反応するオンラインプロトタイプを実演する。

関連論文リスト

• Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction [28.306877525705236]
  EDITHは、人間の非言語的信号を1対1の視点で連続的に捉え、スマートグラスから見つめるロボットフレームワークである。 我々のハードウェアシステムは、人間の第一の視点、視線、発話をロボットにリアルタイムでストリームし、音声を言語指示に翻訳する。 人間とロボットの対話的なタスクの実験において、EDITHは、意図が短時間でしか表現されない場合でも、ロボットが人間の非言語信号に作用することを可能にする。
  論文  参考訳（メタデータ） (2026-06-09T00:50:29Z)
• Using Vision-Language Models as Proxies for Social Intelligence in Human-Robot Interaction [16.018759023223502]
  我々は、人々が非言語的行動を通じて対話の準備ができていることを示す方法と、専門家ウィザードがエンゲージメントをガイドするためにこれらの手がかりをどのように利用するかを分析する。 本稿では,より重いビデオベース視覚言語モデル (VLM) クエリを選択的にトリガーするために,軽量な知覚検出器を用いた2段階パイプラインを提案する。 本研究は,VLMを社会的推論のプロキシとして選択的に使用することにより,社会的に応答するロボットの動作が可能であることを示唆している。
  論文  参考訳（メタデータ） (2025-12-08T05:17:58Z)
• RoboOmni: Proactive Robot Manipulation in Omni-modal Context [165.09049429566238]
  我々は,音声対話や環境音,視覚的手がかりから意図を導出する,クロスモーダルな文脈指示を導入する。 目的認識,インタラクション確認,アクション実行を統一する,エンドツーエンドのOmni-Modal LLMに基づくフレームワークであるRoboOmniを提案する。 シミュレーションと実世界の設定の実験では、Robo OmniはテキストベースとASRベースのベースラインを越え、成功率、推論速度、意図認識、積極的に支援している。
  論文  参考訳（メタデータ） (2025-10-27T18:49:03Z)
• Why Robots Are Bad at Detecting Their Mistakes: Limitations of Miscommunication Detection in Human-Robot Dialogue [0.6118899177909359]
  本研究では,ロボット対話における誤通信検出における機械学習モデルの有効性を評価する。 会話の各ターンの後、ユーザーはエラーを認識したかどうかについてのフィードバックを提供し、モデルがロボットの誤りを正確に検出する能力の分析を可能にした。
  論文  参考訳（メタデータ） (2025-06-25T09:25:04Z)
• X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すかどうかを調べる。 従来の設定では、各参加者は一度に1つのメッセージに制限される。 本稿では,textitburstダイアログパターンを用いて,元のテストを強化するtextbftextscX-Turingを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• Ain't Misbehavin' -- Using LLMs to Generate Expressive Robot Behavior in Conversations with the Tabletop Robot Haru [9.2526849536751]
  本稿では,大規模言語モデル(LLM)を利用して,表現行動を伴うロボット応答を生成する,完全自動会話システムを提案する。 提案したシステムを用いて,ボランティアが社会ロボットとチャットし,そのフィードバックを分析し,チャットテキストの厳密な誤り解析を行う。 最も否定的なフィードバックは、会話に限られた影響を及ぼす自動音声認識(ASR)エラーによるものだった。
  論文  参考訳（メタデータ） (2024-02-18T12:35:52Z)
• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• Emotional Listener Portrait: Realistic Listener Motion Simulation in Conversation [50.35367785674921]
  リスナーヘッドジェネレーションは、話者から提供される情報を参照して、リスナーの非言語行動を生成することに集中する。 このような反応を生成する上で重要な課題は、会話中のきめ細かい表情の非決定論的性質である。 本稿では,複数の個別な動きコーパスの合成として,各顔の動きを微粒化処理する情緒的リスナー・ポートレート(ELP)を提案する。 ELPモデルは,学習分布からのサンプリングにより,与えられた話者に対する自然な,多様な応答を自動的に生成するだけでなく,所定の姿勢で制御可能な応答を生成することができる。
  論文  参考訳（メタデータ） (2023-09-29T18:18:32Z)
• Developing Social Robots with Empathetic Non-Verbal Cues Using Large Language Models [2.5489046505746704]
  我々は,音声,行動(妊娠),表情,感情の4種類の共感的非言語的手がかりを社会ロボットで設計し,ラベル付けする。 予備的な結果は、ロボットの反応において「喜び」や「リリー」のような穏やかでポジティブな社会的感情の好みや、頻繁にうなずく動作など、異なるパターンが示される。 我々の研究は、言語と非言語の両方が社会的・共感的なロボットを作る上で不可欠な役割を強調し、人間とロボットの相互作用に関する将来の研究の基盤となる。
  論文  参考訳（メタデータ） (2023-08-31T08:20:04Z)
• "No, to the Right" -- Online Language Corrections for Robotic Manipulation via Shared Autonomy [70.45420918526926]
  LILACは、実行中に自然言語の修正をオンラインで実施し、適応するためのフレームワークである。 LILACは人間とロボットを個別にターンテイクする代わりに、人間とロボットの間にエージェンシーを分割する。 提案手法は,タスク完了率が高く,ユーザによって主観的に好まれることを示す。
  論文  参考訳（メタデータ） (2023-01-06T15:03:27Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Responsive Listening Head Generation: A Benchmark Dataset and Baseline [58.168958284290156]
  本研究では、応答型リスニングヘッド生成タスクを、複数の入力に応答する動きと表現を持つ非言語ヘッドの合成として定義する。 音声によるジェスチャーや音声のヘッド生成とは違って,いくつかの研究分野の恩恵を期待して,このタスクにより多くのモーダルを導入する。
  論文  参考訳（メタデータ） (2021-12-27T07:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。