論文の概要: TransforMerger: Transformer-based Voice-Gesture Fusion for Robust Human-Robot Communication
- arxiv url: http://arxiv.org/abs/2504.01708v1
- Date: Wed, 02 Apr 2025 13:15:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:17:53.661643
- Title: TransforMerger: Transformer-based Voice-Gesture Fusion for Robust Human-Robot Communication
- Title（参考訳）: TransforMerger:人間とロボットのロバスト通信のためのトランスフォーマーベース音声ジェスチャーフュージョン
- Authors: Petr Vanc, Karla Stepanova,
- Abstract要約: 本稿では,トランスフォーマーモデルについて紹介する。トランスフォーマーは,解答音声とジェスチャー入力に基づくロボット操作のための構造化された動作指令を推論するトランスフォーマーモデルである。
我々のアプローチは、マルチモーダルデータを単一の統一文にマージし、言語モデルで処理する。
シミュレーションおよび実世界の実験において,TransforMergerの評価を行い,ノイズや不一致,情報不足に対するロバスト性を実証した。
- 参考スコア（独自算出の注目度）: 1.3812010983144802
- License:
- Abstract: As human-robot collaboration advances, natural and flexible communication methods are essential for effective robot control. Traditional methods relying on a single modality or rigid rules struggle with noisy or misaligned data as well as with object descriptions that do not perfectly fit the predefined object names (e.g. 'Pick that red object'). We introduce TransforMerger, a transformer-based reasoning model that infers a structured action command for robotic manipulation based on fused voice and gesture inputs. Our approach merges multimodal data into a single unified sentence, which is then processed by the language model. We employ probabilistic embeddings to handle uncertainty and we integrate contextual scene understanding to resolve ambiguous references (e.g., gestures pointing to multiple objects or vague verbal cues like "this"). We evaluate TransforMerger in simulated and real-world experiments, demonstrating its robustness to noise, misalignment, and missing information. Our results show that TransforMerger outperforms deterministic baselines, especially in scenarios requiring more contextual knowledge, enabling more robust and flexible human-robot communication. Code and datasets are available at: http://imitrob.ciirc.cvut.cz/publications/transformerger.
- Abstract（参考訳）: 人間とロボットのコラボレーションが進むにつれて、ロボットの効果的な制御には自然で柔軟なコミュニケーション方法が不可欠である。
単一のモダリティや厳格なルールに依存する従来のメソッドは、ノイズや不一致のデータだけでなく、事前に定義されたオブジェクト名に完全に適合しないオブジェクト記述(例: 'Pick that red object')と競合する。
本稿では,トランスフォーマーモデルについて紹介する。トランスフォーマーは,解答音声とジェスチャー入力に基づくロボット操作のための構造化された動作指令を推論するトランスフォーマーモデルである。
我々のアプローチは、マルチモーダルデータを単一の統一文にマージし、言語モデルで処理する。
我々は不確実性に対処するために確率的埋め込みを採用し、文脈的シーン理解を統合して曖昧な参照(例えば、複数のオブジェクトを指しているジェスチャーや、「これ」のような曖昧な動詞の手がかり)を解決する。
シミュレーションおよび実世界の実験において,TransforMergerの評価を行い,ノイズや不一致,情報不足に対するロバスト性を実証した。
以上の結果から,TransforMergerは決定論的ベースライン,特に文脈的知識を必要とするシナリオにおいて,より堅牢で柔軟なヒューマンロボットコミュニケーションを実現することが示唆された。
コードとデータセットは、 http://imitrob.ciirc.cvut.cz/publications/transformerger.comで入手できる。
関連論文リスト
- Beyond Sight: Finetuning Generalist Robot Policies with Heterogeneous Sensors via Language Grounding [85.63710017456792]
FuSeは、不均一なセンサのモダリティに対する微調整型ビズモータ一般政策を可能にする新しいアプローチである。
FuSeは視覚,触覚,音などのモーダル性に対して共同で推論を必要とする挑戦的なタスクを実行できることを示す。
実世界での実験では、FuSeisはすべての基準ラインと比較して成功率を20%以上引き上げることができた。
論文 参考訳（メタデータ） (2025-01-08T18:57:33Z) - Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳（メタデータ） (2024-06-01T13:28:31Z) - Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳（メタデータ） (2023-11-26T06:56:02Z) - Meta-Transformer: A Unified Framework for Multimodal Learning [105.77219833997962]
マルチモーダル学習は、複数のモーダルからの情報を処理し、関連付けるモデルを構築することを目的としている。
この分野での長年の開発にもかかわらず、様々なモダリティを処理する統一ネットワークを設計することは依然として困難である。
我々は、textbffrozen$ encoderを利用してマルチモーダル認識を行うMeta-Transformerというフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-20T12:10:29Z) - Co-Speech Gesture Synthesis using Discrete Gesture Token Learning [1.1694169299062596]
リアルな音声のジェスチャーを合成することは、信じられない動きを作り出す上で重要な問題であるが未解決の問題である。
共同音声ジェスチャーモデルを学ぶ上での課題の1つは、同一発話に対して複数の実行可能なジェスチャー動作が存在することである。
我々は、ジェスチャーセグメントを離散潜在符号としてモデル化することで、ジェスチャー合成におけるこの不確実性に対処する2段階モデルを提案した。
論文 参考訳（メタデータ） (2023-03-04T01:42:09Z) - Instruction-Following Agents with Multimodal Transformer [95.70039658112873]
本稿では,視覚環境下での指示追従課題をロボットが解くための,シンプルで効果的なモデルを提案する。
本手法は,視覚観察と言語指示を符号化したマルチモーダルトランスフォーマーからなる。
この統一型トランスモデルは, シングルタスクとマルチタスクの両方で, 最先端のトレーニング済みあるいは訓練済みのスクラッチ手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-24T17:46:47Z) - Enhancing Interpretability and Interactivity in Robot Manipulation: A
Neurosymbolic Approach [0.0]
本稿では,言語誘導型視覚推論とロボット操作を結合したニューロシンボリックアーキテクチャを提案する。
非熟練の人間ユーザは、制約のない自然言語を用いてロボットに刺激を与え、参照表現(REF)、質問(VQA)、把握動作指示を提供する。
シミュレーション環境では,3次元視覚と言語によるテーブルトップシーンの合成データセットを作成し,我々のアプローチを訓練し,合成シーンと実世界のシーンの両方で広範な評価を行う。
論文 参考訳（メタデータ） (2022-10-03T12:21:45Z) - LaTTe: Language Trajectory TransformEr [33.7939079214046]
本研究は、汎用的な3次元ロボット軌道を修正するための柔軟な言語ベースのフレームワークを提案する。
自然言語入力と文脈イメージを3次元軌跡の変化にマッピングするために,自動回帰変換器を用いる。
シミュレーションや実生活実験を通じて、モデルが人間の意図に従うことができることを示す。
論文 参考訳（メタデータ） (2022-08-04T22:43:21Z) - Learning Flexible Translation between Robot Actions and Language
Descriptions [16.538887534958555]
本稿では,ロボット動作と言語記述とのフレキシブルな変換のためのペアゲートオートエンコーダ(PGAE)を提案する。
我々は、各アクションを、翻訳方向に関する信号を含む適切な記述とペアリングすることで、エンド・ツー・エンドでモデルを訓練する。
事前訓練された言語モデルを言語エンコーダとして使用するオプションにより、我々のモデルは目に見えない自然言語入力を認識することができる。
論文 参考訳（メタデータ） (2022-07-15T12:37:05Z) - Reshaping Robot Trajectories Using Natural Language Commands: A Study of
Multi-Modal Data Alignment Using Transformers [33.7939079214046]
我々は、人間とロボットのコラボレーションのための柔軟な言語ベースのインタフェースを提供する。
我々は、ユーザコマンドをエンコードする大規模言語モデルの分野における最近の進歩を生かしている。
言語コマンドによって修正されたロボット軌跡を含むデータセット上で、模倣学習を用いてモデルを訓練する。
論文 参考訳（メタデータ） (2022-03-25T01:36:56Z) - Learning Language-Conditioned Robot Behavior from Offline Data and
Crowd-Sourced Annotation [80.29069988090912]
本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。
クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。
提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
論文 参考訳（メタデータ） (2021-09-02T17:42:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。