論文の概要: Crossmodal Language Grounding in an Embodied Neurocognitive Model
- arxiv url: http://arxiv.org/abs/2006.13546v2
- Date: Fri, 16 Oct 2020 08:27:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 08:58:47.507463
- Title: Crossmodal Language Grounding in an Embodied Neurocognitive Model
- Title(参考訳): 身体的神経認知モデルにおける言語接地
- Authors: Stefan Heinrich, Yuan Yao, Tobias Hinz, Zhiyuan Liu, Thomas Hummel,
Matthias Kerzel, Cornelius Weber, and Stefan Wermter
- Abstract要約: ヒトの幼児は早期に自然言語を習得することができる。
神経科学的な観点では、自然言語は具現化され、ほとんど全てではなく、感覚と感覚のモダリティに基礎を置いている。
バイオインスパイアされたメカニズムを反映した言語接地のための神経認知モデルを提案する。
- 参考スコア(独自算出の注目度): 28.461246169379685
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Human infants are able to acquire natural language seemingly easily at an
early age. Their language learning seems to occur simultaneously with learning
other cognitive functions as well as with playful interactions with the
environment and caregivers. From a neuroscientific perspective, natural
language is embodied, grounded in most, if not all, sensory and sensorimotor
modalities, and acquired by means of crossmodal integration. However,
characterising the underlying mechanisms in the brain is difficult and
explaining the grounding of language in crossmodal perception and action
remains challenging. In this paper, we present a neurocognitive model for
language grounding which reflects bio-inspired mechanisms such as an implicit
adaptation of timescales as well as end-to-end multimodal abstraction. It
addresses developmental robotic interaction and extends its learning
capabilities using larger-scale knowledge-based data. In our scenario, we
utilise the humanoid robot NICO in obtaining the EMIL data collection, in which
the cognitive robot interacts with objects in a children's playground
environment while receiving linguistic labels from a caregiver. The model
analysis shows that crossmodally integrated representations are sufficient for
acquiring language merely from sensory input through interaction with objects
in an environment. The representations self-organise hierarchically and embed
temporal and spatial information through composition and decomposition. This
model can also provide the basis for further crossmodal integration of
perceptually grounded cognitive representations.
- Abstract(参考訳): ヒトの幼児は早期に自然言語を習得することができる。
彼らの言語学習は、他の認知機能を学ぶと同時に、環境や介護者と遊び心のある相互作用も同時に起こるように思われる。
神経科学的な観点では、自然言語は具現化され、ほとんどすべてではなく、感覚と感覚のモダリティに基礎を置いており、クロスモーダルな統合によって獲得される。
しかし、脳の基盤となるメカニズムを特徴づけることは困難であり、言語の基礎をクロスモーダルな知覚と行動で説明することは依然として困難である。
本稿では,時間スケールの暗黙的適応やエンドツーエンドのマルチモーダル抽象化といったバイオインスパイアされたメカニズムを反映した言語基盤の神経認知モデルを提案する。
開発ロボティクスに対処し、より大規模な知識ベースのデータを用いて学習能力を拡張する。
このシナリオでは,認知ロボットが介護者から言語ラベルを受信しながら,子どもの遊び場環境内の物体と対話するEMILデータ収集に,ヒューマノイドロボットNICOを利用する。
モデル解析により, 環境中の物体との相互作用を通じて, 感覚入力からのみ言語を得るには, クロスモーダル統合表現が十分であることが示された。
自己組織を階層的に表現し、構成と分解を通じて時空間情報を埋め込む。
このモデルは、知覚的に基底付けられた認知表現のさらなる相互統合の基盤を提供することもできる。
関連論文リスト
- Exploring Spatial Schema Intuitions in Large Language and Vision Models [10.567239684448344]
大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。
驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。
本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
論文 参考訳(メタデータ) (2024-02-01T19:25:50Z) - MIMo: A Multi-Modal Infant Model for Studying Cognitive Development [3.5009119465343033]
コンピュータシミュレーションによる早期認知発達研究のためのオープンソースの幼児モデルMIMoを提案する。
MIMOはその周囲を両眼視、前庭系、前立腺、そして全身の仮想皮膚を通して知覚する。
論文 参考訳(メタデータ) (2023-12-07T14:21:31Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳(メタデータ) (2023-11-13T21:20:17Z) - A Human-Robot Mutual Learning System with Affect-Grounded Language
Acquisition and Differential Outcomes Training [0.1812164955222814]
本稿では,ロボットのホメオスタティックなニーズを識別するための,人間とロボットのインタラクション・セットアップを提案する。
我々は,ロボットが内部ニーズに特有のフィードバックを提供する,差分結果学習プロトコルを採用した。
我々は、DOTが人間の学習効率を高めることができるという証拠を発見し、それによってより効率的なロボット言語習得を可能にした。
論文 参考訳(メタデータ) (2023-10-20T09:41:31Z) - Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳(メタデータ) (2023-10-20T03:33:36Z) - The Architecture of a Biologically Plausible Language Organ [2.5466702304890294]
本研究は,スタイリングされたが現実的なニューロン,シナプス,脳領域,可塑性,感覚知覚の簡易モデルからなる,生体可塑性言語器官について述べる。
実験を通して、このモデルが言語習得の重要な初期段階で成功することを示す。
論文 参考訳(メタデータ) (2023-06-27T10:25:22Z) - Computational Language Acquisition with Theory of Mind [84.2267302901888]
我々は、心の理論(ToM)を備えた言語学習エージェントを構築し、その学習過程への影響を測定する。
重み付けされたToMリスナーコンポーネントを用いた学習話者は,画像参照ゲームの設定において,性能向上につながることがわかった。
論文 参考訳(メタデータ) (2023-03-02T18:59:46Z) - Enhancing Interpretability and Interactivity in Robot Manipulation: A
Neurosymbolic Approach [0.0]
本稿では,言語誘導型視覚推論とロボット操作を結合したニューロシンボリックアーキテクチャを提案する。
非熟練の人間ユーザは、制約のない自然言語を用いてロボットに刺激を与え、参照表現(REF)、質問(VQA)、把握動作指示を提供する。
シミュレーション環境では,3次元視覚と言語によるテーブルトップシーンの合成データセットを作成し,我々のアプローチを訓練し,合成シーンと実世界のシーンの両方で広範な評価を行う。
論文 参考訳(メタデータ) (2022-10-03T12:21:45Z) - Data-driven emotional body language generation for social robotics [58.88028813371423]
社会ロボティクスでは、人間型ロボットに感情の身体的表現を生成する能力を与えることで、人間とロボットの相互作用とコラボレーションを改善することができる。
我々は、手作業で設計されたいくつかの身体表現から学習する深層学習データ駆動フレームワークを実装した。
評価実験の結果, 生成した表現の人間同型とアニマシーは手作りの表現と異なる認識が得られなかった。
論文 参考訳(メタデータ) (2022-05-02T09:21:39Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳(メタデータ) (2022-01-14T14:54:58Z) - Cognitive architecture aided by working-memory for self-supervised
multi-modal humans recognition [54.749127627191655]
人間パートナーを認識する能力は、パーソナライズされた長期的な人間とロボットの相互作用を構築するための重要な社会的スキルです。
ディープラーニングネットワークは最先端の結果を達成し,そのような課題に対処するための適切なツールであることが実証された。
1つの解決策は、ロボットに自己スーパービジョンで直接の感覚データから学習させることである。
論文 参考訳(メタデータ) (2021-03-16T13:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。