論文の概要: Iterated learning for emergent systematicity in VQA

• arxiv url: http://arxiv.org/abs/2105.01119v1
• Date: Mon, 3 May 2021 18:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-06 03:36:49.587037
• Title: Iterated learning for emergent systematicity in VQA
• Title（参考訳）: VQAにおける創発的体系性の反復学習
• Authors: Ankit Vani, Max Schwarzer, Yuchen Lu, Eeshan Dhekane, Aaron Courville
• Abstract要約: ニューラルモジュールネットワークは構成性に対するアーキテクチャ上のバイアスを持っている。 レイアウトとモジュールを共同学習する場合、構成性は自動的に発生せず、適切な構造を示すレイアウトの出現には明示的な圧力が必要です。 本研究では,自然における構成言語の出現に関する認知科学理論である反復学習を用いてこの問題に対処することを提案する。
• 参考スコア（独自算出の注目度）: 3.977144385787228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although neural module networks have an architectural bias towards compositionality, they require gold standard layouts to generalize systematically in practice. When instead learning layouts and modules jointly, compositionality does not arise automatically and an explicit pressure is necessary for the emergence of layouts exhibiting the right structure. We propose to address this problem using iterated learning, a cognitive science theory of the emergence of compositional languages in nature that has primarily been applied to simple referential games in machine learning. Considering the layouts of module networks as samples from an emergent language, we use iterated learning to encourage the development of structure within this language. We show that the resulting layouts support systematic generalization in neural agents solving the more complex task of visual question-answering. Our regularized iterated learning method can outperform baselines without iterated learning on SHAPES-SyGeT (SHAPES Systematic Generalization Test), a new split of the SHAPES dataset we introduce to evaluate systematic generalization, and on CLOSURE, an extension of CLEVR also designed to test systematic generalization. We demonstrate superior performance in recovering ground-truth compositional program structure with limited supervision on both SHAPES-SyGeT and CLEVR.
• Abstract（参考訳）: ニューラルモジュールネットワークは構成性に対するアーキテクチャ上のバイアスがあるが、実際に体系的に一般化するには金の標準レイアウトが必要である。 レイアウトとモジュールを共同で学習する場合、構成性は自動的に発生せず、適切な構造を示すレイアウトの出現には明示的な圧力が必要である。 本稿では,機械学習における単純な参照ゲームに主に応用された,自然界における合成言語の出現に関する認知科学理論である反復学習を用いて,この問題に対処することを提案する。 モジュールネットワークのレイアウトを創発言語からのサンプルとして考慮し、反復学習を用いて、この言語内での構造開発を促進する。 その結果,視覚質問応答のより複雑な課題を解決する神経エージェントの体系的一般化を支援する。 正規化反復学習法は,SHAPES-SyGeT (SHAPES Systematic Generalization Test, SHAPESデータセットの新たな分割による体系的一般化の評価, CLOSUREではCLEVRの拡張による体系的一般化の検証を行う。 SHAPES-SyGeT と CLEVR の両面を限定的に監視し, 地上構造を復元する際の優れた性能を示す。

関連論文リスト

• On The Specialization of Neural Modules [16.83151955540625]
  本稿では,データセットの有用な構造に特化し,系統的な一般化を実現するネットワークモジュールの能力について検討する。 その結果、モジュールの特殊化の難しさ、モジュールの専門化を成功させるために必要なもの、モジュールアーキテクチャの体系化の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-09-23T12:58:11Z)
• On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games [55.2480439325792]
  逐次的意思決定問題において、情報構造とは、異なる時点に発生するシステム内の事象が相互にどのように影響するかを記述するものである。 対照的に、現実のシーケンシャルな意思決定問題は通常、システム変数の複雑で時間的な相互依存を伴う。 情報構造を明示する新しい強化学習モデルを定式化する。
  論文  参考訳（メタデータ） (2024-03-01T21:28:19Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Learning Dynamics and Structure of Complex Systems Using Graph Neural Networks [13.509027957413409]
  我々は、非線形力学系の例から時系列に適合するようにグラフニューラルネットワークを訓練した。 学習した表現とモデルコンポーネントの簡単な解釈を見出した。 我々は,信念伝達における統計的相互作用と,それに対応する学習ネットワークのパラメータ間のグラフトランスレータの同定に成功した。
  論文  参考訳（メタデータ） (2022-02-22T15:58:16Z)
• Provable Hierarchy-Based Meta-Reinforcement Learning [50.17896588738377]
  HRLをメタRL設定で解析し、下流タスクで使用するメタトレーニング中に学習者が潜在階層構造を学習する。 我々は、この自然階層の標本効率の回復を保証し、抽出可能な楽観主義に基づくアルゴリズムとともに「多様性条件」を提供する。 我々の境界は、時間的・状態的・行動的抽象化などのHRL文献に共通する概念を取り入れており、我々の設定と分析が実際にHRLの重要な特徴を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-10-18T17:56:02Z)
• Structure-Aware Feature Generation for Zero-Shot Learning [108.76968151682621]
  潜在空間と生成ネットワークの両方を学習する際の位相構造を考慮し,SA-GANと呼ばれる新しい構造認識特徴生成手法を提案する。 本手法は,未確認クラスの一般化能力を大幅に向上させ,分類性能を向上させる。
  論文  参考訳（メタデータ） (2021-08-16T11:52:08Z)
• Systematic Generalization on gSCAN with Language Conditioned Embedding [19.39687991647301]
  体系的一般化とは、学習アルゴリズムが学習した振る舞いを目に見えない状況に外挿する能力を指す。 本稿では,入力自然言語を条件とした動的メッセージパッシングによるオブジェクトの文脈的埋め込みを学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T17:35:05Z)
• Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
  民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-07T08:34:48Z)
• Systematic Generalisation through Task Temporal Logic and Deep Reinforcement Learning [12.136911683449242]
  本稿では,記号モジュールがTL仕様を一般化を目標としたDRLエージェントのトレーニングを支援する形式に変換する,ニューロシンボリック・フレームワークを提案する。 異なる環境下での体系的な学習の出現について検討し、新しい命令を一般化する際には、畳み込み層のアーキテクチャが重要であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T09:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。