論文の概要: Embodying Pre-Trained Word Embeddings Through Robot Actions

• arxiv url: http://arxiv.org/abs/2104.08521v1
• Date: Sat, 17 Apr 2021 12:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:49:13.556818
• Title: Embodying Pre-Trained Word Embeddings Through Robot Actions
• Title（参考訳）: ロボット行動による事前学習語埋め込みの具体化
• Authors: Minori Toyoda, Kanata Suzuki, Hiroki Mori, Yoshihiko Hayashi, Tetsuya Ogata
• Abstract要約: 多語語を含む様々な言語表現に適切に対応することは、ロボットにとって重要な能力です。 これまでの研究で、ロボットは事前訓練された単語埋め込みを用いることで、アクション記述ペアデータセットに含まれていない単語を使用できることが示されている。 ロボットの感覚運動体験を用いて,事前学習された単語埋め込みを具体化したものに変換する。
• 参考スコア（独自算出の注目度）: 9.048164930020404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a promising neural network model with which to acquire a grounded representation of robot actions and the linguistic descriptions thereof. Properly responding to various linguistic expressions, including polysemous words, is an important ability for robots that interact with people via linguistic dialogue. Previous studies have shown that robots can use words that are not included in the action-description paired datasets by using pre-trained word embeddings. However, the word embeddings trained under the distributional hypothesis are not grounded, as they are derived purely from a text corpus. In this letter, we transform the pre-trained word embeddings to embodied ones by using the robot's sensory-motor experiences. We extend a bidirectional translation model for actions and descriptions by incorporating non-linear layers that retrofit the word embeddings. By training the retrofit layer and the bidirectional translation model alternately, our proposed model is able to transform the pre-trained word embeddings to adapt to a paired action-description dataset. Our results demonstrate that the embeddings of synonyms form a semantic cluster by reflecting the experiences (actions and environments) of a robot. These embeddings allow the robot to properly generate actions from unseen words that are not paired with actions in a dataset.
• Abstract（参考訳）: 本稿では,ロボット行動の基底表現とその言語記述を得るための有望なニューラルネットワークモデルを提案する。 多文語を含む様々な言語表現に適切に反応することは、言語対話を通じて人と対話するロボットにとって重要な能力である。 これまでの研究によると、ロボットは事前訓練された単語埋め込みを用いて、アクション記述ペアデータセットに含まれていない単語を使うことができる。 しかし、分布仮説の下で訓練された単語埋め込みは、テキストコーパスから純粋に派生しているため、根拠づけられていない。 本稿では,ロボットの感覚運動体験を用いて,事前学習した単語の埋め込みを具体化したものに変換する。 単語埋め込みに適合する非線形層を組み込むことで、アクションや記述のための双方向翻訳モデルを拡張する。 提案モデルでは,再構成層と双方向翻訳モデルを交互にトレーニングすることにより,事前学習した単語の埋め込みを変換して,ペアのアクション記述データセットに適応させることができる。 その結果,同義語の組込みはロボットの体験(動作や環境)を反映して意味クラスタを形成することがわかった。 これらの埋め込みにより、ロボットはデータセット内のアクションとペアでない未知の単語からアクションを適切に生成できる。

関連論文リスト

• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control [140.48218261864153]
  本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。 提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
  論文  参考訳（メタデータ） (2023-07-28T21:18:02Z)
• Robot Learning with Sensorimotor Pre-training [98.7755895548928]
  ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。 我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。 感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
  論文  参考訳（メタデータ） (2023-06-16T17:58:10Z)
• Natural Language Robot Programming: NLP integrated with autonomous robotic grasping [1.7045152415056037]
  本稿では,ロボットプログラミングのための文法に基づく自然言語フレームワークについて述べる。 私たちのアプローチでは、意味を共有する単語をまとめて格納するために設計された、アクションワードのカスタム辞書を使用します。 我々は、Franka Pandaロボットアームを用いて、シミュレーションと実世界の実験を通して、我々のフレームワークを検証する。
  論文  参考訳（メタデータ） (2023-04-06T11:06:30Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• Learning Flexible Translation between Robot Actions and Language Descriptions [16.538887534958555]
  本稿では,ロボット動作と言語記述とのフレキシブルな変換のためのペアゲートオートエンコーダ(PGAE)を提案する。 我々は、各アクションを、翻訳方向に関する信号を含む適切な記述とペアリングすることで、エンド・ツー・エンドでモデルを訓練する。 事前訓練された言語モデルを言語エンコーダとして使用するオプションにより、我々のモデルは目に見えない自然言語入力を認識することができる。
  論文  参考訳（メタデータ） (2022-07-15T12:37:05Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)
• Augmenting semantic lexicons using word embeddings and transfer learning [1.101002667958165]
  本稿では,単語埋め込みと伝達学習を用いて,感情スコアを比較的低コストで拡張するための2つのモデルを提案する。 評価の結果、両モデルともAmazon Mechanical Turkのレビュアーと同様の精度で新しい単語を採点できるが、コストはごくわずかである。
  論文  参考訳（メタデータ） (2021-09-18T20:59:52Z)
• Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation [80.29069988090912]
  本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。 クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。 提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:42:13Z)
• Interactive Re-Fitting as a Technique for Improving Word Embeddings [0.0]
  我々は,単語の集合を互いに近づけることで,単語の埋め込み空間の一部を調整できるようにする。 提案手法では,単語埋め込みにおける潜在的なバイアスをユーザが操作する際,選択的な後処理をトリガーし,評価することができる。
  論文  参考訳（メタデータ） (2020-09-30T21:54:22Z)
• Caption Generation of Robot Behaviors based on Unsupervised Learning of Action Segments [10.356412004005767]
  ロボットの行動シーケンスとその自然言語キャプションをブリッジすることは、人間のアシストロボットの説明可能性を高める重要な課題である。 本稿では,人間支援ロボットの動作を記述した自然言語キャプションを生成するシステムを提案する。
  論文  参考訳（メタデータ） (2020-03-23T03:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。