論文の概要: A Modern System Recipe for Situated Embodied Human-Robot Conversation with Real-Time Multimodal LLMs and Tool-Calling

• arxiv url: http://arxiv.org/abs/2602.04157v1
• Date: Wed, 04 Feb 2026 02:48:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:41.157876
• Title: A Modern System Recipe for Situated Embodied Human-Robot Conversation with Real-Time Multimodal LLMs and Tool-Calling
• Title（参考訳）: リアルタイムマルチモーダルLLMとツールカーリングを用いた身近な人間ロボット会話システム
• Authors: Dong Won Lee, Sarah Gillet, Louis-Philippe Morency, Cynthia Breazeal, Hae Won Park,
• Abstract要約: 身近な会話には、ロボットがアクティブな知覚とリアルタイム対話をインターリーブする必要がある。 本稿では、リアルタイムマルチモーダル言語モデルと、注意とアクティブな知覚のためのツールインタフェースのセットを組み合わせた、単純で最小限のシステムレシピを提案する。
• 参考スコア（独自算出の注目度）: 34.62479881206725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Situated embodied conversation requires robots to interleave real-time dialogue with active perception: deciding what to look at, when to look, and what to say under tight latency constraints. We present a simple, minimal system recipe that pairs a real-time multimodal language model with a small set of tool interfaces for attention and active perception. We study six home-style scenarios that require frequent attention shifts and increasing perceptual scope. Across four system variants, we evaluate turn-level tool-decision correctness against human annotations and collect subjective ratings of interaction quality. Results indicate that real-time multimodal large language models and tool use for active perception is a promising direction for practical situated embodied conversation.
• Abstract（参考訳）: Situated embodied conversationでは、ロボットがリアルタイム対話とアクティブな知覚をインターリーブする必要がある。 本稿では,リアルタイムマルチモーダル言語モデルと,注意と能動的知覚のためのツールインタフェースのセットを組み合わせた,シンプルな最小限のシステムレシピを提案する。 注意移りや知覚範囲の増大を必要とする6つのホームスタイルシナリオについて検討した。 4種類のシステムにおいて,人間のアノテーションに対するターンレベルのツール判定精度を評価し,対話品質の主観的評価を収集する。 その結果,リアルタイム多モーダルな大言語モデルと能動的知覚のためのツールの利用が,現実的位置の具体的会話に有望な方向であることが示唆された。

関連論文リスト

• An Approach to Combining Video and Speech with Large Language Models in Human-Robot Interaction [0.0]
  本研究は,高度な視覚言語モデル,音声処理,ファジィ論理を組み合わせた新しいHRIフレームワークを提案する。 提案システムは,物体検出のためのFlorence-2,自然言語理解のためのLlama 3.1,音声認識のためのWhisperを統合した。 コンシューマグレードハードウェアで行った実験の結果,コマンド実行精度は75%であった。
  論文  参考訳（メタデータ） (2026-02-23T09:05:15Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• Enabling Chatbots with Eyes and Ears: An Immersive Multimodal Conversation System for Dynamic Interactions [13.341099059080936]
  本研究の目的は、人間とのより没入的な相互作用が可能な「目と耳」をチャットボットに装備することである。 本稿では,マルチモーダルな会話データセットであるマルチモーダルなマルチセッション・マルチパーティ・会話について紹介する。 我々のモデルはM3C$で訓練され、複数の話者との長期会話をシームレスに行う能力を示している。
  論文  参考訳（メタデータ） (2025-05-31T06:50:51Z)
• OV-HHIR: Open Vocabulary Human Interaction Recognition Using Cross-modal Integration of Large Language Models [4.831029473163422]
  オープンな語彙と人間-人間の相互作用認識フレームワークを提案する。 我々は、オープンワールド設定において、目視と目視の両方の人間のインタラクションについて、オープンエンドのテキスト記述を生成する。 本手法は,ビデオ理解のための従来の固定語彙分類システムや既存のクロスモーダル言語モデルよりも優れている。
  論文  参考訳（メタデータ） (2024-12-31T13:22:00Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• Conversation Understanding using Relational Temporal Graph Neural Networks with Auxiliary Cross-Modality Interaction [2.1261712640167856]
  感情認識は人間の会話理解にとって重要な課題である。 我々は,CORECT(Cross-Modality Interaction)を用いた入力時間グラフニューラルネットワークを提案する。 CORECTは会話レベルの対話と発話レベルの時間的依存関係を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2023-11-08T07:46:25Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)
• Gated Multimodal Fusion with Contrastive Learning for Turn-taking Prediction in Human-robot Dialogue [15.710861456924158]
  次の話者がいつ話し始めるかを決めることを目的としたターンテイキングは、人間ロボットによる対話システムを構築する上で不可欠な要素である。 まず,5000以上の人間とロボットの対話を音声とテキストのモダリティで行うターンテイクのための大規模な注釈付きコーパスを収集する。 ターンテイク予測に様々な情報をシームレスに利用するために,新しいゲート型マルチモーダル融合機構を考案した。
  論文  参考訳（メタデータ） (2022-04-18T05:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。