論文の概要: Crossmodal Language Grounding in an Embodied Neurocognitive Model
- arxiv url: http://arxiv.org/abs/2006.13546v2
- Date: Fri, 16 Oct 2020 08:27:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 08:58:47.507463
- Title: Crossmodal Language Grounding in an Embodied Neurocognitive Model
- Title（参考訳）: 身体的神経認知モデルにおける言語接地
- Authors: Stefan Heinrich, Yuan Yao, Tobias Hinz, Zhiyuan Liu, Thomas Hummel,
Matthias Kerzel, Cornelius Weber, and Stefan Wermter
- Abstract要約: ヒトの幼児は早期に自然言語を習得することができる。
神経科学的な観点では、自然言語は具現化され、ほとんど全てではなく、感覚と感覚のモダリティに基礎を置いている。
バイオインスパイアされたメカニズムを反映した言語接地のための神経認知モデルを提案する。
- 参考スコア（独自算出の注目度）: 28.461246169379685
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Human infants are able to acquire natural language seemingly easily at an
early age. Their language learning seems to occur simultaneously with learning
other cognitive functions as well as with playful interactions with the
environment and caregivers. From a neuroscientific perspective, natural
language is embodied, grounded in most, if not all, sensory and sensorimotor
modalities, and acquired by means of crossmodal integration. However,
characterising the underlying mechanisms in the brain is difficult and
explaining the grounding of language in crossmodal perception and action
remains challenging. In this paper, we present a neurocognitive model for
language grounding which reflects bio-inspired mechanisms such as an implicit
adaptation of timescales as well as end-to-end multimodal abstraction. It
addresses developmental robotic interaction and extends its learning
capabilities using larger-scale knowledge-based data. In our scenario, we
utilise the humanoid robot NICO in obtaining the EMIL data collection, in which
the cognitive robot interacts with objects in a children's playground
environment while receiving linguistic labels from a caregiver. The model
analysis shows that crossmodally integrated representations are sufficient for
acquiring language merely from sensory input through interaction with objects
in an environment. The representations self-organise hierarchically and embed
temporal and spatial information through composition and decomposition. This
model can also provide the basis for further crossmodal integration of
perceptually grounded cognitive representations.
- Abstract（参考訳）: ヒトの幼児は早期に自然言語を習得することができる。
彼らの言語学習は、他の認知機能を学ぶと同時に、環境や介護者と遊び心のある相互作用も同時に起こるように思われる。
神経科学的な観点では、自然言語は具現化され、ほとんどすべてではなく、感覚と感覚のモダリティに基礎を置いており、クロスモーダルな統合によって獲得される。
しかし、脳の基盤となるメカニズムを特徴づけることは困難であり、言語の基礎をクロスモーダルな知覚と行動で説明することは依然として困難である。
本稿では,時間スケールの暗黙的適応やエンドツーエンドのマルチモーダル抽象化といったバイオインスパイアされたメカニズムを反映した言語基盤の神経認知モデルを提案する。
開発ロボティクスに対処し、より大規模な知識ベースのデータを用いて学習能力を拡張する。
このシナリオでは,認知ロボットが介護者から言語ラベルを受信しながら,子どもの遊び場環境内の物体と対話するEMILデータ収集に,ヒューマノイドロボットNICOを利用する。
モデル解析により, 環境中の物体との相互作用を通じて, 感覚入力からのみ言語を得るには, クロスモーダル統合表現が十分であることが示された。
自己組織を階層的に表現し、構成と分解を通じて時空間情報を埋め込む。
このモデルは、知覚的に基底付けられた認知表現のさらなる相互統合の基盤を提供することもできる。
関連論文リスト
- Lost in Translation: The Algorithmic Gap Between LMs and the Brain [8.799971499357499]
言語モデル(LM)は、様々な言語課題において印象的な性能を達成しているが、脳内の人間の言語処理との関係は未だ不明である。
本稿では、異なるレベルの分析において、LMと脳のギャップと重複について検討する。
神経科学からの洞察(空間性、モジュール性、内部状態、インタラクティブ学習など)が、より生物学的に妥当な言語モデルの開発にどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2024-07-05T17:43:16Z) - Language, Environment, and Robotic Navigation [0.0]
本稿では,言語が抽象的なコミュニケーションシステムとして機能し,知覚経験の基盤的表現として機能する統一的な枠組みを提案する。
本稿では,分散意味論の認知モデルとその自律エージェントへの応用について概観し,言語統合システムの変容の可能性について述べる。
論文 参考訳（メタデータ） (2024-04-03T20:30:38Z) - Development of Compositionality and Generalization through Interactive Learning of Language and Action of Robots [1.7624347338410742]
本稿では、視覚、受容、言語を予測符号化と能動推論の枠組みに組み込む脳に触発されたニューラルネットワークモデルを提案する。
その結果,課題構成の訓練変化が増大すると,未学習の動詞-名詞合成への学習の一般化が著しく向上することが示唆された。
論文 参考訳（メタデータ） (2024-03-29T06:22:37Z) - Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。
驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。
本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
論文 参考訳（メタデータ） (2024-02-01T19:25:50Z) - MIMo: A Multi-Modal Infant Model for Studying Cognitive Development [3.5009119465343033]
コンピュータシミュレーションによる早期認知発達研究のためのオープンソースの幼児モデルMIMoを提案する。
MIMOはその周囲を両眼視、前庭系、前立腺、そして全身の仮想皮膚を通して知覚する。
論文 参考訳（メタデータ） (2023-12-07T14:21:31Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳（メタデータ） (2023-11-13T21:20:17Z) - Computational Language Acquisition with Theory of Mind [84.2267302901888]
我々は、心の理論(ToM)を備えた言語学習エージェントを構築し、その学習過程への影響を測定する。
重み付けされたToMリスナーコンポーネントを用いた学習話者は,画像参照ゲームの設定において,性能向上につながることがわかった。
論文 参考訳（メタデータ） (2023-03-02T18:59:46Z) - Data-driven emotional body language generation for social robotics [58.88028813371423]
社会ロボティクスでは、人間型ロボットに感情の身体的表現を生成する能力を与えることで、人間とロボットの相互作用とコラボレーションを改善することができる。
我々は、手作業で設計されたいくつかの身体表現から学習する深層学習データ駆動フレームワークを実装した。
評価実験の結果, 生成した表現の人間同型とアニマシーは手作りの表現と異なる認識が得られなかった。
論文 参考訳（メタデータ） (2022-05-02T09:21:39Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳（メタデータ） (2022-01-14T14:54:58Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Cognitive architecture aided by working-memory for self-supervised
multi-modal humans recognition [54.749127627191655]
人間パートナーを認識する能力は、パーソナライズされた長期的な人間とロボットの相互作用を構築するための重要な社会的スキルです。
ディープラーニングネットワークは最先端の結果を達成し,そのような課題に対処するための適切なツールであることが実証された。
1つの解決策は、ロボットに自己スーパービジョンで直接の感覚データから学習させることである。
論文 参考訳（メタデータ） (2021-03-16T13:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。