論文の概要: The World According to a Social Robot -- Augmenting Human-Robot Dialogue With Vision Language Models
- arxiv url: http://arxiv.org/abs/2607.16318v1
- Date: Wed, 15 Jul 2026 06:55:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.109439
- Title: The World According to a Social Robot -- Augmenting Human-Robot Dialogue With Vision Language Models
- Title（参考訳）: 社会ロボットによる世界 - 視覚言語モデルによる人間-ロボット対話の強化
- Abstract要約: 視覚言語モデル(VLM)は、ロボットが会話の相手や人間の行動や特徴だけでなく、自分たちの環境を視覚的に知覚することを可能にする。
本稿では,人-ロボットインタラクション(HRI)のためのPepperロボットを用いたMistral AI言語モデルの対話における初期経験について述べる。
その結果,視覚情報の導入は,応答時間を適度に増加させるだけで,会話の文脈を付加することがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision Language Models (VLMs) enable robots to visually perceive their environment as well as the actions and characteristics of their conversation partner or humans in collaboration. Especially for social robots deployed in everyday settings and for uncomplicated, natural use, it is essential that the robot has an understanding of situations that is appropriate to human customs. This paper presents initial experiences with the application of a Mistral AI language model with a Pepper robot for Human-Robot Interaction (HRI) in dialogue, as well as an investigation of the effects of additional visual information on response time in different models. The results show that incorporating visual information adds context to the dialogue with only a moderate increase in response time, enabling both the robot and the human to take into account unspoken elements of the situation. Furthermore, using an LLM hosted in Europe offers a solution that complies with European data protection regulations and can therefore facilitate real-life applications more easily.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、ロボットが会話の相手や人間の行動や特徴だけでなく、自分たちの環境を視覚的に知覚することを可能にする。
特に日常的な環境に展開された社会ロボットや、複雑でない自然利用のためには、ロボットが人間の習慣に合った状況を理解することが不可欠である。
本稿では、対話における人間-ロボットインタラクション(HRI)のためのPepperロボットを用いたMistral AI言語モデルの適用経験と、異なるモデルにおける応答時間に対する追加視覚情報の影響について検討する。
その結果,視覚情報の導入は,応答時間の適度な増加に留まらず,会話の文脈を付加し,ロボットと人間の両方が状況の無意味な要素を考慮できることを示した。
さらに、ヨーロッパでホストされているLLMを使用することで、欧州のデータ保護規則に準拠したソリューションを提供する。
関連論文リスト
- AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。
私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。
大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
論文 参考訳（メタデータ） (2026-08-29T12:55:15Z) - An Approach to Combining Video and Speech with Large Language Models in Human-Robot Interaction [0.0]
本研究は,高度な視覚言語モデル,音声処理,ファジィ論理を組み合わせた新しいHRIフレームワークを提案する。
提案システムは,物体検出のためのFlorence-2,自然言語理解のためのLlama 3.1,音声認識のためのWhisperを統合した。
コンシューマグレードハードウェアで行った実験の結果,コマンド実行精度は75%であった。
論文 参考訳（メタデータ） (2026-02-23T09:05:15Z) - Using Vision-Language Models as Proxies for Social Intelligence in Human-Robot Interaction [16.018759023223502]
我々は、人々が非言語的行動を通じて対話の準備ができていることを示す方法と、専門家ウィザードがエンゲージメントをガイドするためにこれらの手がかりをどのように利用するかを分析する。
本稿では,より重いビデオベース視覚言語モデル (VLM) クエリを選択的にトリガーするために,軽量な知覚検出器を用いた2段階パイプラインを提案する。
本研究は,VLMを社会的推論のプロキシとして選択的に使用することにより,社会的に応答するロボットの動作が可能であることを示唆している。
論文 参考訳（メタデータ） (2025-12-08T05:17:58Z) - RoboOmni: Proactive Robot Manipulation in Omni-modal Context [165.09049429566238]
我々は,音声対話や環境音,視覚的手がかりから意図を導出する,クロスモーダルな文脈指示を導入する。
目的認識,インタラクション確認,アクション実行を統一する,エンドツーエンドのOmni-Modal LLMに基づくフレームワークであるRoboOmniを提案する。
シミュレーションと実世界の設定の実験では、Robo OmniはテキストベースとASRベースのベースラインを越え、成功率、推論速度、意図認識、積極的に支援している。
論文 参考訳（メタデータ） (2025-10-27T18:49:03Z) - TalkWithMachines: Enhancing Human-Robot Interaction for Interpretable Industrial Robotics Through Large/Vision Language Models [1.534667887016089]
本稿では,Large Language Models (LLMs) とVision Language Models (VLMs) の最近の進歩について検討する。
この統合により、ロボットは自然言語で与えられたコマンドを理解し、実行し、視覚的および/または記述的な入力を通じて環境を認識することができる。
本稿は、低レベル制御を探索するLLM支援型ロボット制御4つについて概説し、(ii)ロボットの内部状態を記述した言語に基づくフィードバックの生成、(iii)視覚情報の追加入力としての利用、(iv)タスク計画とフィードバックを生成するロボット構造情報の利用について述べる。
論文 参考訳（メタデータ） (2024-12-19T23:43:40Z) - Project Report: Requirements for a Social Robot as an Information Provider in the Public Sector [0.0]
我々はヒューマノイド社会ロボットを公的な環境に統合するための応用シナリオを考案した。
我々は,対応するロボットアプリケーションを開発し,キール市議会とともにプロジェクトの初期試験と評価を行った。
このプロジェクトで得られた最も重要な洞察の1つは、自然言語処理能力を持つヒューマノイドロボットが、ユーザーにとってずっと好まれていることであった。
本稿では、ACT-Rの認知アーキテクチャとロボットとの連携を提案し、ACT-Rモデルをロボットアプリケーションとのインタラクションに利用して、人間とロボットの対話を認知的に処理し、強化する。
論文 参考訳（メタデータ） (2024-12-06T13:07:06Z) - Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。
現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。
本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
論文 参考訳（メタデータ） (2024-07-02T21:00:30Z) - Comparing Apples to Oranges: LLM-powered Multimodal Intention Prediction in an Object Categorization Task [17.190635800969456]
本稿では,ロボットとの協調的な対象分類タスクにおいて,人間の意図を推定するために,Large Language Modelsを用いて検討する。
本研究では, ユーザの身振り, 身振り, 表情などの非言語的手がかりを, ユーザの意図を予測するために, 環境状態やユーザの言葉的手がかりと統合する, 新たなマルチモーダルアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-12T12:15:14Z) - A Sign Language Recognition System with Pepper, Lightweight-Transformer,
and LLM [0.9775599530257609]
本研究は,ヒューマノイドロボットPepperがAmerican Sign Language(ASL)を理解するために,軽量なディープニューラルネットワークアーキテクチャを用いた検討である。
組込みシステムに最適化されたASL理解のための軽量で効率的なモデルを導入し,計算資源を保存しながら,迅速な手話認識を実現する。
我々は、Pepper Robotが自然なCo-Speech Gesture応答を生成できるように対話を調整し、より有機的で直感的なヒューマノイドロボット対話の基礎を築いた。
論文 参考訳（メタデータ） (2023-09-28T23:54:41Z) - WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。
本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。
我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
論文 参考訳（メタデータ） (2023-08-30T11:35:21Z) - RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic
Control [140.48218261864153]
本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。
提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
論文 参考訳（メタデータ） (2023-07-28T21:18:02Z) - Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。
我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。
実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
論文 参考訳（メタデータ） (2023-03-02T01:55:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。