論文の概要: Development of a Humanoid Robot Prototype for Multimodal Human-Robot Interaction
- arxiv url: http://arxiv.org/abs/2609.05361v1
- Date: Fri, 04 Sep 2026 17:06:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.135585
- Title: Development of a Humanoid Robot Prototype for Multimodal Human-Robot Interaction
- Title（参考訳）: マルチモーダルロボットインタラクションのためのヒューマノイドロボットプロトタイプの開発
- Abstract要約: HRI(Human-robot Interaction)は、現実世界の環境において、人間とロボットの直感的でインテリジェントなコラボレーションを可能にする。
本稿では,人工知能(AI)モジュールをHRIタスクに組み込んだ柔軟なテストベッドとして設計したヒューマノイドロボットのプロトタイプを提案する。
- 参考スコア（独自算出の注目度）: 0.6742864446722399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-robot interaction (HRI) enables intuitive and intelligent collaboration between humans and robots in real-world environments. This paper introduces a humanoid robot prototype designed as a flexible testbed for developing and integrating artificial intelligence (AI) modules in HRI tasks. The system features a 12 degree-of-freedom (DOFs) dual-arm mechanism and a 2 DOFs head with an expressive LCD screen to express facial emotions. All hardware components are controlled by a custom-designed controller board with real-time AI processing supported by an onboard Jetson module. The system incorporates three AI modules: (1) gesture recognition using MediaPipe Pose and an LSTM classifier, (2) object detection with YOLO and 3D localization, and (3) voice-command processing through speech recognition and large language model(LLM)-based semantic parsing. The platform is validated through experiments on positioning accuracy, with results showing average manipulation errors of approximately 1.83 cm. To demonstrate its versatility, experimental results show over 90% task accuracy, with gesture recognition reaching 96%, speech recognition reaching 92%. The results confirm the effectiveness of the proposed system as a reproducible and accessible humanoid platform for research and prototyping in HRI.
- Abstract（参考訳）: HRI(Human-robot Interaction)は、現実世界の環境において、人間とロボットの直感的でインテリジェントなコラボレーションを可能にする。
本稿では,人工知能(AI)モジュールをHRIタスクに組み込んだ柔軟なテストベッドとして設計したヒューマノイドロボットのプロトタイプを提案する。
このシステムは12自由度(DOF)のデュアルアーム機構と2自由度ヘッドを備え、表情の表情を表現できるLCDスクリーンを備えている。
すべてのハードウェアコンポーネントは、オンボードのJetsonモジュールでサポートされているリアルタイムAI処理を備えた、カスタム設計のコントローラボードによって制御される。
本システムは,(1)MediaPipe PoseとLSTM分類器を用いたジェスチャー認識,(2)YOLOによるオブジェクト検出,(3)音声認識による音声コマンド処理,および大規模言語モデル(LLM)に基づく意味解析の3つのAIモジュールを備える。
プラットフォームは位置決め精度の実験を通じて検証され、平均操作誤差は約1.83cmである。
その汎用性を示すために、実験結果は90%以上のタスク精度を示し、ジェスチャー認識は96%、音声認識は92%に達した。
その結果,HRIにおけるプロトタイピングのための再現可能かつアクセス可能なヒューマノイドプラットフォームとしての有効性が確認された。
関連論文リスト
- WSA$_1$: a 3D-Centric World-Spatial-Action Model for Generalizable Robot Control [85.21175469425172]
近年,ロボット基盤モデル(RFM)が汎用ロボットシステムの主要なアプローチとして確立されている。
提案する3D-Centric World-Spatial-Action モデリングパラダイムに基づく新しい RFM である WSA$_1$ を提案する。
将来のロボット行動に対する3D世界認識の視覚的思考を学習するだけでなく、行動一般化を促進するために3D世界遷移とロボット行動の相互制約をモデル化する。
論文 参考訳（メタデータ） (2026-07-04T16:26:39Z) - Initiation of Interaction Detection Framework using a Nonverbal Cue for Human-Robot Interaction [15.228284553815593]
本稿では,音声と視覚センサの融合に基づくインタラクション(IoI)検出フレームワークについて述べる。
提案するフレームワークでは、ロボットは独自のオーディオと視覚センサーを備えており、人間の検出と追跡を安定させるために外部視覚センサーを使用することができる。
論文 参考訳（メタデータ） (2026-05-11T07:07:01Z) - AnyUser: Translating Sketched User Intent into Domestic Robots [21.747127540075756]
カメラ画像のフリーフォームスケッチによる直感的な家庭内タスク指導のための統合型ロボットインストラクションシステムであるAnyUserを紹介した。
AnyUserはマルチモーダル入力(スケッチ、ビジョン、言語)を空間意味プリミティブとして解釈し、実行可能なロボットアクションを生成する。
論文 参考訳（メタデータ） (2026-04-06T16:16:00Z) - Robotic Grasping and Placement Controlled by EEG-Based Hybrid Visual and Motor Imagery [64.82869118243723]
本稿では,脳波に基づく視覚・運動画像(VI/MI)とロボット制御を統合し,リアルタイム・意図駆動型把握・配置を実現するフレームワークを提案する。
このシステムは、BCI駆動のロボット工学の約束に感銘を受けて、オフラインで事前訓練されたデコーダをゼロショットで展開することによって、ニューラルネットワークを物理的制御でブリッジする。
論文 参考訳（メタデータ） (2026-03-03T17:41:42Z) - An Approach to Combining Video and Speech with Large Language Models in Human-Robot Interaction [0.0]
本研究は,高度な視覚言語モデル,音声処理,ファジィ論理を組み合わせた新しいHRIフレームワークを提案する。
提案システムは,物体検出のためのFlorence-2,自然言語理解のためのLlama 3.1,音声認識のためのWhisperを統合した。
コンシューマグレードハードウェアで行った実験の結果,コマンド実行精度は75%であった。
論文 参考訳（メタデータ） (2026-02-23T09:05:15Z) - Interpretable Robot Control via Structured Behavior Trees and Large Language Models [0.14990005092937678]
本稿では,自然言語理解とロボット実行を橋渡しする新しい枠組みを提案する。
提案手法は実世界のシナリオでは実用的であり、平均的な認識と実行の精度は約94%である。
論文 参考訳（メタデータ） (2025-08-13T08:53:13Z) - Recognizing Actions from Robotic View for Natural Human-Robot Interaction [52.00935005918032]
自然人-ロボットインタラクション(Natural Human-Robot Interaction, N-HRI)は、ロボット自身が動いているか静止しているかに関わらず、ロボットが様々な距離と状態で人間の行動を認識することを要求する。
N-HRIの既存のベンチマークは、限られたデータ、モダリティ、タスクカテゴリ、主題や環境の多様性のために、N-HRIのユニークな複雑さに対処できない。
モバイルサービスロボットで広く使われている知覚中心ロボットビューのための大規模データセット(Action from Robotic View)を紹介する。
論文 参考訳（メタデータ） (2025-07-30T09:48:34Z) - Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。
まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。
この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。
両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文 参考訳（メタデータ） (2024-09-26T17:57:16Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳（メタデータ） (2024-02-22T15:12:00Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳（メタデータ） (2022-02-16T00:23:42Z) - Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。
システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。
公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
論文 参考訳（メタデータ） (2021-03-17T15:24:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。