論文の概要: Development of Compositionality and Generalization through Interactive Learning of Language and Action of Robots
- arxiv url: http://arxiv.org/abs/2403.19995v2
- Date: Tue, 23 Jul 2024 05:21:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 22:43:37.165407
- Title: Development of Compositionality and Generalization through Interactive Learning of Language and Action of Robots
- Title（参考訳）: 対話型言語学習による構成性・一般化とロボットの行動
- Authors: Prasanna Vijayaraghavan, Jeffrey Frederic Queisser, Sergio Verduzco Flores, Jun Tani,
- Abstract要約: 本稿では、視覚、受容、言語を予測符号化と能動推論の枠組みに組み込む脳に触発されたニューラルネットワークモデルを提案する。
その結果,課題構成の訓練変化が増大すると,未学習の動詞-名詞合成への学習の一般化が著しく向上することが示唆された。
- 参考スコア（独自算出の注目度）: 1.7624347338410742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans excel at applying learned behavior to unlearned situations. A crucial component of this generalization behavior is our ability to compose/decompose a whole into reusable parts, an attribute known as compositionality. One of the fundamental questions in robotics concerns this characteristic. "How can linguistic compositionality be developed concomitantly with sensorimotor skills through associative learning, particularly when individuals only learn partial linguistic compositions and their corresponding sensorimotor patterns?" To address this question, we propose a brain-inspired neural network model that integrates vision, proprioception, and language into a framework of predictive coding and active inference, based on the free-energy principle. The effectiveness and capabilities of this model were assessed through various simulation experiments conducted with a robot arm. Our results show that generalization in learning to unlearned verb-noun compositions, is significantly enhanced when training variations of task composition are increased. We attribute this to self-organized compositional structures in linguistic latent state space being influenced significantly by sensorimotor learning. Ablation studies show that visual attention and working memory are essential to accurately generate visuo-motor sequences to achieve linguistically represented goals. These insights advance our understanding of mechanisms underlying development of compositionality through interactions of linguistic and sensorimotor experience.
- Abstract（参考訳）: 人間は学習した振る舞いを未学習の状況に適用することに長けている。
この一般化行動の重要な要素は、全体の構成と分解を、構成性として知られる再利用可能な部分に分割する能力である。
ロボット工学における基本的な問題のひとつは、この特性に関するものである。
「各個人が部分的な言語構成とそれに対応する知覚的パターンしか学ばない場合、アソシエイト学習を通じて、言語構成と感覚的スキルを両立させるにはどうすればいいのか。」
この問題に対処するために、我々は、視覚、プロプレセプション、言語を自由エネルギー原理に基づく予測的コーディングとアクティブ推論の枠組みに統合する脳に触発されたニューラルネットワークモデルを提案する。
このモデルの有効性と能力は、ロボットアームを用いて様々なシミュレーション実験によって評価された。
その結果,課題構成の訓練変化が増大すると,未学習の動詞-名詞合成への学習の一般化が著しく向上することが示唆された。
我々は,言語潜在状態空間における自己組織的構成構造が,感性学習の影響を著しく受けていると考えている。
アブレーション研究により、視覚的注意と作業記憶は、言語的に表される目標を達成するために、正確にビジュオモトラーシーケンスを生成するために不可欠であることが示されている。
これらの知見は、言語的および感覚的経験の相互作用を通じて構成性の発達の基礎となるメカニズムの理解を深める。
関連論文リスト
- Constructive Approach to Bidirectional Causation between Qualia Structure and Language Emergence [5.906966694759679]
本稿では,言語出現と主観的経験の関連構造との双方向因果関係について考察する。
我々は、個人間の内部表現を整合させる過程を通じて、たとえば構文・意味構造のような分布意味を持つ言語が出現したかもしれないと仮定する。
論文 参考訳（メタデータ） (2024-09-14T11:03:12Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳（メタデータ） (2023-05-22T17:18:29Z) - On the Correspondence between Compositionality and Imitation in Emergent
Neural Communication [1.4610038284393165]
我々の研究は、ディープ・ニューラル・エージェントがプレイするルイス・ゲームにおける構成性と模倣の関係を探求する。
教師付き学習は平均的な言語を作り出す傾向があり、強化学習はより構成的な言語に対する選択的な圧力をもたらす。
論文 参考訳（メタデータ） (2023-05-22T11:41:29Z) - Interpreting Neural Policies with Disentangled Tree Representations [58.769048492254555]
本稿では,コンパクトなニューラルポリシーの解釈可能性について,不整合表現レンズを用いて検討する。
決定木を利用して,ロボット学習における絡み合いの要因を抽出する。
学習したニューラルダイナミクスの絡み合いを計測する解釈可能性指標を導入する。
論文 参考訳（メタデータ） (2022-10-13T01:10:41Z) - Data-driven emotional body language generation for social robotics [58.88028813371423]
社会ロボティクスでは、人間型ロボットに感情の身体的表現を生成する能力を与えることで、人間とロボットの相互作用とコラボレーションを改善することができる。
我々は、手作業で設計されたいくつかの身体表現から学習する深層学習データ駆動フレームワークを実装した。
評価実験の結果, 生成した表現の人間同型とアニマシーは手作りの表現と異なる認識が得られなかった。
論文 参考訳（メタデータ） (2022-05-02T09:21:39Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳（メタデータ） (2021-05-19T07:24:42Z) - Crossmodal Language Grounding in an Embodied Neurocognitive Model [28.461246169379685]
ヒトの幼児は早期に自然言語を習得することができる。
神経科学的な観点では、自然言語は具現化され、ほとんど全てではなく、感覚と感覚のモダリティに基礎を置いている。
バイオインスパイアされたメカニズムを反映した言語接地のための神経認知モデルを提案する。
論文 参考訳（メタデータ） (2020-06-24T08:12:09Z) - Towards a self-organizing pre-symbolic neural model representing
sensorimotor primitives [15.364871660385155]
感覚運動行動の象徴的および言語的表現の獲得は、エージェントが行う認知過程である。
本稿では,視覚刺激から腹側/背側視覚ストリームの発達までの高次情報の概念化を関連づけるモデルを提案する。
我々は,物体を受動的に観察して特徴や動きを学習するロボットを用いて,このモデルを実証する。
論文 参考訳（メタデータ） (2020-06-20T01:58:28Z) - Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。
良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
論文 参考訳（メタデータ） (2020-06-18T15:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。